值班時遇到過最讓人頭大的場景就是把多源觀測數(shù)據(jù)疊在一起準(zhǔn)備做分析的那幾分鐘。地面自動站給出的是逐分鐘的氣壓和風(fēng)雷達(dá)是五分鐘一幀的三維回波衛(wèi)星云圖反映的是十幾分鐘前的云頂溫度探空則是半天才放一次它們對同一片強(qiáng)對流系統(tǒng)的描述還經(jīng)?；ハ嗝芤粋€偏北、一個偏西、一個說強(qiáng)度還在增加。這個問題放到氣象大數(shù)據(jù)背景下會被無限放大——資料種類越來越多、文件體積越來越大但數(shù)據(jù)集的堆積本身并不等于可用信息。把這些“異構(gòu)”數(shù)據(jù)變成數(shù)值模式真正能吃得下的高質(zhì)量初始場靠的正是數(shù)據(jù)同化。這篇博客想系統(tǒng)聊聊數(shù)據(jù)同化為什么能解決多源異構(gòu)難題以及在真實(shí)業(yè)務(wù)系統(tǒng)里落地時那些容易被忽略的細(xì)節(jié)。內(nèi)容主要面向正在做數(shù)值預(yù)報、短臨預(yù)報或者氣象數(shù)據(jù)工程的朋友有一定基礎(chǔ)的新人也建議讀完我會盡量把原理講成大白話。1. 先想清楚一個問題多源數(shù)據(jù)為什么非得“同化”不可1.1 不做同化時的“笨辦法”有多差如果完全不做同化處理常見的做法是直接拿上一時刻的分析場當(dāng)作初始場去啟動模式或者在插值之后把站點(diǎn)觀測直接寫到網(wǎng)格上。這兩種做法看起來樸素省事實(shí)際效果都很糟糕。拿舊分析場當(dāng)初始場本質(zhì)上是“完全信任過去”。模式起步時和當(dāng)前大氣狀態(tài)的差距會非常大最初的十幾次時間步幾乎全部被浪費(fèi)在調(diào)整虛假擾動上還會誘發(fā)一批假的對流回波。做過短臨的人應(yīng)該都有經(jīng)驗(yàn)如果初始場質(zhì)量差模式頭一兩個小時的降水預(yù)報基本沒法看不是空報就是漏報。直接把觀測插值到網(wǎng)格上的問題就更隱蔽了。站點(diǎn)觀測只是大氣狀態(tài)的“點(diǎn)采樣”把它當(dāng)格點(diǎn)值用等于忽略了一個網(wǎng)格體內(nèi)部的真實(shí)變化。分析場會變得支離破碎像拿幾十根溫度計拼一張全國氣溫圖中間地帶全靠猜根本不可能平滑出可信的東西。更關(guān)鍵的是這兩種方法都沒有處理“不同觀測之間互相矛盾”的問題。一旦地面站和雷達(dá)對同一條回波給出不一致的信息插值邏輯也不知道該信誰最后往往只能看哪個數(shù)據(jù)文件排在最后面。這些就是數(shù)據(jù)同化要解決的原始場景。1.2 數(shù)據(jù)同化的本質(zhì)依賴物理約束的融合而不是統(tǒng)計平均數(shù)據(jù)同化和“加權(quán)平均”最本質(zhì)的區(qū)別在于它的每一次狀態(tài)估計都必須經(jīng)過模式的物理約束。你可以把模式狀態(tài)想成一個由溫度、濕度、風(fēng)場、云水等變量在三維網(wǎng)格上構(gòu)成的完整向量同化就是在“模式認(rèn)為大氣應(yīng)該是什么樣”和“觀測告訴我們實(shí)際是什么樣”之間按各自的不確定性求出最可能的狀態(tài)。這整套邏輯在貝葉斯框架里非常清晰背景場是先驗(yàn)一組觀測是證據(jù)后驗(yàn)狀態(tài)就是分析場。但這里的關(guān)鍵在于絕大多數(shù)觀測并不直接給出模式變量。雷達(dá)測到的是反射率衛(wèi)星測到的是通道亮溫掩星資料給的是折射率閃電定位給的是放電事件。只有通過觀測算子把這些觀測映射到模式變量空間才能把“不同語言”的多源數(shù)據(jù)翻譯成同一種狀態(tài)描述。這正是多源異構(gòu)難題的核心解法不是強(qiáng)行統(tǒng)一觀測格式而是把每類觀測都映射到同一個模式坐標(biāo)系里再比較。1.3 一個醫(yī)生問診式的類比打個比方一位醫(yī)生判斷病人的血糖情況不會把血糖儀讀數(shù)、靜脈血化驗(yàn)結(jié)果和癥狀描述直接按平均值糊成一個數(shù)而是知道每種檢查的取樣時間窗口、儀器誤差、操作誤差各有不同再綜合這些信息給出判斷。數(shù)據(jù)同化做的事其實(shí)就是這套每個觀測都有可信度即觀測誤差協(xié)方差每個背景值也有可信度即背景誤差協(xié)方差最后的結(jié)果既不是全信觀測也不是全信模式而是二者按照誤差結(jié)構(gòu)做加權(quán)折中。理解了這一點(diǎn)后續(xù)所有流程——質(zhì)量控制、偏差訂正、觀測算子設(shè)計——本質(zhì)上都是在回答同一個問題每個數(shù)據(jù)源的“可信度”是不是被定對了。數(shù)據(jù)同化解決多源異構(gòu)難題的根基不在某個酷炫算法而在于它把“融合”變成了一個有物理約束、有誤差量化、可診斷可回溯的過程。2. 數(shù)據(jù)同化的核心閉環(huán)先驗(yàn)、觀測算子與分析增量2.1 一個代價函數(shù)把整個機(jī)制講明白第一次打開同化系統(tǒng)日志時很容易被一堆縮寫嚇到3D-Var、4D-Var、EnKF、FGAT。剝開外殼核心都是一個代價函數(shù)最小化問題J(x) (x - x_b)^T B^{-1} (x - x_b) (y - H(x))^T R^{-1} (y - H(x))第一項(xiàng)計算分析狀態(tài)和背景場的偏差由背景誤差協(xié)方差B加權(quán)第二項(xiàng)計算觀測和背景通過觀測算子H得到的模擬值之間的偏差由觀測誤差協(xié)方差R加權(quán)。同化的全部工作就是找到讓這個函數(shù)總和最小的狀態(tài)x。這個公式的價值不只是數(shù)學(xué)意義它還能讓你看懂所有經(jīng)驗(yàn)設(shè)計的取舍如果某一類觀測的誤差被設(shè)得很大R就大它在最終分析里的權(quán)重自然就小如果背景本身不可靠B變大觀測的影響力就會被放大。很多新人面對同化無從下手其實(shí)先把這一個式子里每個符號代表什么搞清楚整個框架就打通了一半。后續(xù)不管換什么同化算法代價函數(shù)的基本形態(tài)都會保持這種“背景項(xiàng)加觀測項(xiàng)”的結(jié)構(gòu)。2.2 背景誤差協(xié)方差B整個系統(tǒng)的靈魂在代價函數(shù)里B決定的是“模式狀態(tài)里哪些變量之間相關(guān)、空間相關(guān)性有多大”。降水和濕度自然是高度相關(guān)的邊界層溫度和風(fēng)的關(guān)系也很緊密。如果B把這種相關(guān)性描述得太弱分析場就會像在每根網(wǎng)格上獨(dú)立修正產(chǎn)生逐點(diǎn)鋸齒狀噪聲預(yù)報跑不了幾步就碎掉。如果描述得太強(qiáng)真實(shí)的局地信息又會被抹平連強(qiáng)對流中心都會被糊成一片溫和的降水區(qū)。業(yè)務(wù)系統(tǒng)里B通常不是直接統(tǒng)計出來的而是用NMC方法——統(tǒng)計同一時刻不同預(yù)報時效之間差值的協(xié)方差特征——或者從集合預(yù)報樣本中估計再做定標(biāo)和局地化處理。這些方法各有各的不完美。所以我一直覺得同化里最難調(diào)的不是觀測權(quán)重而是“背景該怎么被信任”這個矩陣。B沒調(diào)好觀測資料再多也白搭這幾乎是我接觸過幾套同化系統(tǒng)之后最大的共識。在后面的混合EnVar部分還會提到B從固定場變成流依賴場正是當(dāng)代同化發(fā)展的主線之一。2.3 觀測算子H讓多源數(shù)據(jù)完成“對齊”數(shù)據(jù)同化為什么能讓“異構(gòu)”數(shù)據(jù)變得可用關(guān)鍵就在觀測算子這一步。地面站觀測的是站點(diǎn)高度上的氣壓和溫度要做的是在模式場里找到同一時刻、同一位置最近的格點(diǎn)做插值這是最簡單的觀測算子。衛(wèi)星輻射亮溫和模式變量的關(guān)系就復(fù)雜得多模式給出的是大氣溫度廓線、水汽分布、云滴濃度衛(wèi)星測到的卻是若干通道從近地面到平流層整層大氣的加權(quán)輻射貢獻(xiàn)必須通過輻射傳輸模型做前向模擬才能算出“如果模式是對的衛(wèi)星應(yīng)該看到什么”。雷達(dá)反射率更是典型反射率是降水粒子散射的積分結(jié)果模式變量里并沒有直接對應(yīng)的“反射率”狀態(tài)必須借助反射率與降水速率之間的經(jīng)驗(yàn)關(guān)系做映射。閃電資料甚至只能通過局地對流參數(shù)化的關(guān)系間接同化。理解了觀測算子你就明白為什么每種資料都要有自己的同化路徑這也是多源異構(gòu)問題的第一個工程實(shí)體。所謂多源融合本質(zhì)上就是把所有觀測源的前向過程精確建立起來。2.4 增量循環(huán)與同化窗口實(shí)際業(yè)務(wù)里幾乎沒有人直接在最細(xì)分辨率的模式上最小化代價函數(shù)。標(biāo)準(zhǔn)做法是先算“低分辨率增量”——在較粗網(wǎng)格上求分析場和背景場之間偏差的平滑解再用這組增量去修正細(xì)網(wǎng)格上的背景場。這個增量循環(huán)把計算量降下來也讓分析擾動保持較大的空間尺度不容易弄碎細(xì)節(jié)場。同化也不是一次性的。大多數(shù)業(yè)務(wù)系統(tǒng)采用循環(huán)同化比如每3小時或每1小時跑一次讓觀測逐步進(jìn)入分析。窗口概念同樣重要4D-Var會在一段時間窗內(nèi)對所有觀測做時間協(xié)調(diào)業(yè)務(wù)上常見的FGAT則是在3D-Var的框架內(nèi)把每條觀測拿到它自己對應(yīng)的預(yù)報時刻去計算O-B這比一律拿同化起始時刻的背景場去比要準(zhǔn)一個檔次。多源異構(gòu)在業(yè)務(wù)落地中必須做的就是把這些時間坐標(biāo)、空間坐標(biāo)、觀測算子、誤差結(jié)構(gòu)全部統(tǒng)一到一套固定循環(huán)里。3. 多源異構(gòu)的真正難點(diǎn)不是數(shù)據(jù)多而是標(biāo)準(zhǔn)不齊3.1 時間坐標(biāo)不齊秒級、分鐘級、半天一次氣象觀測的時間尺度跨度之大是很多非本行的人想象不到的。雷達(dá)和地面自動站用分鐘算衛(wèi)星掃描數(shù)據(jù)帶的是過境時間戳探空一天只有兩次土壤濕度觀測可能幾天才有一條有效記錄。把這些裝進(jìn)同一個同化窗口時首先要問的不是“它有多新”而是“它反映的是哪個時刻的大氣狀態(tài)”。一條12小時前的探空放進(jìn)6小時同化窗口里它的有效信息其實(shí)已經(jīng)耗掉了一大半。如果只看文件時間忽略了探空儀的實(shí)際釋放時間甚至可能把過期的探測結(jié)果當(dāng)新鮮資料用。資深的同化工程師通常會維護(hù)一份“數(shù)據(jù)時間標(biāo)簽臺賬”每個數(shù)據(jù)源都要登記名義時間、實(shí)際觀測時間、延遲到達(dá)時間否則很難定位那些“數(shù)據(jù)量正常但預(yù)報持續(xù)變差”的詭異情況。時間標(biāo)準(zhǔn)不齊是多源異構(gòu)里最容易被新手低估的一層。3.2 空間尺度與觀測代表性問題一個探空儀球測到的只是幾百米范圍內(nèi)的大氣狀態(tài)而模式網(wǎng)格可能代表幾十平方公里。尺度不匹配直接帶來的就是“代表性誤差”觀測記錄和模式狀態(tài)本來就不可能完全一致哪怕模式和觀測都各自“正確”。這種誤差不適合壓進(jìn)儀器誤差里需要單獨(dú)估計。山地、海岸、城市下墊面附近的站點(diǎn)代表性誤差尤其大。一個谷地早晨的溫度和同一海拔山坡上的溫度差距可能超過好幾攝氏度把這種觀測的誤差設(shè)得太小分析場就會被局地地形“綁架”在周邊幾十公里都產(chǎn)生虛假修正。業(yè)務(wù)上通常通過資料代表性檢查或聚類分析把特別局地的觀測排除在同化名單之外或者主動調(diào)大它們的觀測誤差。觀測不是越多越好“每個觀測的誤差描述是否真實(shí)反映它本身的不可信程度”才是多源融合里真正要回答的問題。3.3 系統(tǒng)偏差同化最怕的“隱性毛病”不同類型的觀測源都有自己頑固的系統(tǒng)偏差衛(wèi)星掃描角度不同會導(dǎo)致增益差異雷達(dá)的衰減和地物雜波會讓回波強(qiáng)度系統(tǒng)性偏大輻射計長期運(yùn)行后絕對定標(biāo)會漂移。這些偏差如果不去除后果比噪聲嚴(yán)重得多因?yàn)樗鼈儠掷m(xù)把分析場朝錯誤方向拉而且很難看出“不對勁”——每天的偏差方向都一樣看起來反而像穩(wěn)定的東西。同化系統(tǒng)里處理它的標(biāo)準(zhǔn)動作分兩步先用統(tǒng)計方法做基于歷史O-B均值的偏差訂正再進(jìn)一步用變分偏差訂正把偏差項(xiàng)本身作為控制變量隨同化一起求解。變分偏差訂正是衛(wèi)星資料能否有效同化的關(guān)鍵之一衛(wèi)星通道一旦進(jìn)入變分偏差訂正流程后O-B統(tǒng)計里的系統(tǒng)性殘余會被顯著壓縮。多源數(shù)據(jù)的現(xiàn)實(shí)就在這里沒有哪類資料可以只靠物理公式就天然可信每類都必須做系統(tǒng)性的驗(yàn)算。3.4 質(zhì)量控制寧可少用不可錯用所有同化系統(tǒng)里都有一套質(zhì)量控制邏輯閾值范圍檢查、物理一致性檢查、靜默檢查觀測是否長時間停在某個固定值、鄰近點(diǎn)一致性檢查、衛(wèi)星云檢測和通道選擇。一套流程跑下來真正進(jìn)入同化求解的觀測可能只有原始數(shù)據(jù)量的三分之一。這一環(huán)節(jié)的原則非常簡單被錯誤數(shù)據(jù)污染的分析場比缺資料更可怕。同化是一個全局最小化過程局部的一個錯誤觀測會通過協(xié)方差傳播到相鄰變量和相鄰區(qū)域形成一片虛假特征。質(zhì)量控制門檻怎么設(shè)本質(zhì)上是平衡“資料利用率”和“污染風(fēng)險”。我見過一些團(tuán)隊(duì)為了讓新數(shù)據(jù)源“看起來有貢獻(xiàn)”把質(zhì)控閾值放得過寬最后O-B殘差一直異常大分析場卻沒有任何改進(jìn)這種問題往往要過好幾天才暴露排查成本極高。所以新數(shù)據(jù)源上線時第一步不是看預(yù)報有沒有變好而是看質(zhì)控后剩余多少可用樣本、O-B分布是否合理。4. 業(yè)務(wù)落地中的數(shù)據(jù)融合處理流從原始報文到同化輸入4.1 數(shù)據(jù)到達(dá)后的“四道關(guān)”任何一個數(shù)據(jù)源上線都要先過四道關(guān)解碼、預(yù)處理、質(zhì)量控制、誤差賦值。拿衛(wèi)星資料舉例解碼環(huán)節(jié)要把原始分包解析成通道亮溫、掃描幾何信息、時間和位置標(biāo)簽預(yù)處理要做定標(biāo)訂正、去掉明顯壞像素并計算云量質(zhì)量控制用地表類型、云檢測、水汽通道一致性等條件篩選通道誤差賦值則是為每個通過質(zhì)控的觀測寫定觀測誤差矩陣?yán)锏闹?。這四個環(huán)節(jié)里解碼和誤差賦值最容易在業(yè)務(wù)里被忽略。解碼錯誤通常是靜默的數(shù)據(jù)能出圖、能統(tǒng)計但物理單位可能少了個換算系數(shù)誤差賦值錯誤則會在同化里直接體現(xiàn)為“這條觀測擁有巨大權(quán)重”某個雷達(dá)站周圍的溫度分析會被單個反射率觀測強(qiáng)行拽偏。每當(dāng)我聽到某個新數(shù)據(jù)源上線、負(fù)責(zé)人興高采烈地說“同化跑起來了”第一反應(yīng)都是問一句觀測誤差矩陣到底是怎么定的往往這一問就能發(fā)現(xiàn)問題。4.2 O-B統(tǒng)計最便宜又好用的診斷工具同化系統(tǒng)里最有價值、最不該節(jié)省的模塊就是O-B統(tǒng)計。所謂O-B就是觀測值減去由背景場前向模擬出來的值。在合理情況下它應(yīng)當(dāng)圍繞零附近窄幅分布均值接近零標(biāo)準(zhǔn)差和設(shè)定的觀測誤差量級相當(dāng)。把O-B按通道、按掃描角、按站點(diǎn)區(qū)域、按小時滾動統(tǒng)計出來很多數(shù)據(jù)問題一眼就能看見某個通道O-B均值突然向正方向偏移了0.5 K多半是這個通道存在未訂正的系統(tǒng)偏差某一站的O-B方差突然膨脹估計是觀測儀器或采集鏈路出了故障某條新數(shù)據(jù)源的O-B分布嚴(yán)重偏斜往往意味著觀測算子的某個物理參數(shù)設(shè)置不對。我在做區(qū)域模式升級時日常監(jiān)測基本就靠一套O-B面板一屏顯示所有數(shù)據(jù)源同化前后的樣本數(shù)、平均O-B、標(biāo)準(zhǔn)差像看儀表盤一樣。有了它資料遲到與否、通道失聯(lián)、文件名規(guī)則改動導(dǎo)致的靜默失效都會被快速發(fā)現(xiàn)而不必等幾天后的預(yù)報評分下跌再倒查。4.3 稀疏化與超級觀測衛(wèi)星資料一次過境就能產(chǎn)生百萬級觀測點(diǎn)十幾個通道乘以每條掃描線幾千個像元直接把全部數(shù)據(jù)扔進(jìn)代價函數(shù)數(shù)學(xué)上不是不行但計算代價和誤差相關(guān)性的處理都非常吃力。業(yè)務(wù)系統(tǒng)通常采用稀疏化先按固定網(wǎng)格挑代表點(diǎn)比如每個約100公里見方的網(wǎng)格內(nèi)保留一個觀測再根據(jù)時間窗和掃描角度做抽稀。雷達(dá)資料的密度同樣驚人因此更常用“超級觀測”的方式——把設(shè)定半徑內(nèi)多個原始觀測做平均得到一個更高信噪比的合成觀測再賦予相應(yīng)誤差。做稀疏化的原則是保證代表性而不遺漏關(guān)鍵信號。強(qiáng)對流單體本身尺度小如果稀疏化網(wǎng)格太大局地信號會被磨光所以業(yè)務(wù)系統(tǒng)需要針對不同同化窗口設(shè)計不同密度的稀疏化方案。這里沒有放之四海的統(tǒng)一參數(shù)只能結(jié)合系統(tǒng)本身的分辨率和觀測密度去調(diào)。4.4 時間窗與循環(huán)周期業(yè)務(wù)時效是一切的約束很多算法文章只講數(shù)學(xué)推導(dǎo)不講業(yè)務(wù)時效但實(shí)際開發(fā)里最讓人頭疼的往往就是時間。同化系統(tǒng)建好后會有一個固定的循環(huán)周期比如每3小時啟動一次留給同化求解只有20到40分鐘因?yàn)楹竺孢€要緊接下一段模式預(yù)報。數(shù)據(jù)到達(dá)系統(tǒng)和同化截止時間之間的窗口是有限資源衛(wèi)星資料延遲30分鐘、雷達(dá)基數(shù)據(jù)分批到位、探空報文晚到都是家常便飯。穩(wěn)妥的調(diào)度設(shè)計是給每個數(shù)據(jù)源設(shè)置最晚等待時間超過時限的數(shù)據(jù)寧可不等也不能讓整個同化循環(huán)卡死遲到的數(shù)據(jù)如果價值還足夠可以放進(jìn)下一個循環(huán)窗口。這個看似不起眼的取舍在長期業(yè)務(wù)里決定了系統(tǒng)的穩(wěn)定性和可維護(hù)性。同化算法寫得再漂亮調(diào)度一塌糊涂整個系統(tǒng)的實(shí)際可用性也會大打折扣。5. 實(shí)時預(yù)報場景下的工程實(shí)現(xiàn)細(xì)節(jié)與常見坑5.1 調(diào)度設(shè)計數(shù)據(jù)到達(dá)時間和同化截止時間打架同化系統(tǒng)真正跑起來之后面對的不再是論文里的理想場景而是源源不斷的數(shù)據(jù)流、隨時可能崩掉的任務(wù)、磁盤被日志占滿的各種現(xiàn)實(shí)問題。調(diào)度器的核心挑戰(zhàn)是協(xié)調(diào)“數(shù)據(jù)到達(dá)的延遲分布”和“同化窗口的截止時間”。我見過不少系統(tǒng)采取同步等待策略每到一個數(shù)據(jù)源才啟動下一步結(jié)果只要一個外部數(shù)據(jù)源斷了整條流水線就僵死在那里預(yù)報員對著屏幕干瞪眼。更穩(wěn)妥的方案是異步流水線先按各自依賴關(guān)系準(zhǔn)備數(shù)據(jù)主同化任務(wù)在截止時間前啟動凡在截止前到的數(shù)據(jù)才納入同化未完成的從側(cè)通道通知值班人員。這一層設(shè)計看似和數(shù)據(jù)同化算法無關(guān)但在實(shí)際業(yè)務(wù)里它往往比算法調(diào)參更能決定預(yù)報質(zhì)量。5.2 靜默失敗最消耗工作熱情的坑同化系統(tǒng)里最氣人的故障不是報錯而是完全不報錯。比如某個外部數(shù)據(jù)源因?yàn)樯嫌喂?jié)點(diǎn)改名傳輸鏈路悄悄斷了文件還在定時生成但內(nèi)容全是空記錄甚至更隱蔽的是文件被替換成了同名的舊文件。系統(tǒng)日志顯示“同化完成”面板上數(shù)據(jù)計數(shù)也正常沒人察覺異常直到幾天后模型對某個區(qū)域的預(yù)報系統(tǒng)性變差才開始地毯式排查。這種靜默失敗幾乎只能靠監(jiān)測面板和O-B統(tǒng)計的聯(lián)動來防范。每次同化任務(wù)跑完后要自動生成所有數(shù)據(jù)源的樣本量對比圖任何數(shù)據(jù)量劣化都會立刻在圖上暴露。我在維護(hù)區(qū)域模式時就遇到過類似情況最終定位到是文件解析規(guī)則的一次改動導(dǎo)致某一類資料完全沒被讀取。如果當(dāng)時沒有樣本量面板這個問題可能幾天都發(fā)現(xiàn)不了。所以我的經(jīng)驗(yàn)是寧可減少花哨的展示功能也要把數(shù)據(jù)監(jiān)測做成同化系統(tǒng)的一等公民。5.3 初始沖擊與虛假重力波同化拿到的分析場是“修正過的狀態(tài)”但如果某一類觀測帶來的分析增量過大比如在某個高度層把風(fēng)場一下改了幾十米每秒模式后續(xù)積分就會激發(fā)很強(qiáng)的虛假重力波表現(xiàn)為氣壓場出現(xiàn)格點(diǎn)尺度的振蕩、降水組織變得雜亂無章。這類問題不是數(shù)值格式的Bug而是初始場與模式動力約束不匹配。業(yè)務(wù)系統(tǒng)常用的緩解手段是數(shù)字濾波初始化通過在初始時段施加數(shù)字濾波去掉那些與可分辨大尺度運(yùn)動不相容的高頻分量更直接的土辦法是給分析增量設(shè)定上限超過閾值就把增量壓縮回來。每次同化生成增量場后我習(xí)慣讓系統(tǒng)自動輸出最大增量診斷一旦某個變量增量異常大立刻檢查對應(yīng)的觀測源。這個習(xí)慣省了大量排查時間。5.4 嵌套與多網(wǎng)格同化別讓兩套分析打架區(qū)域和全球預(yù)報系統(tǒng)并存、多分辨率嵌套已經(jīng)是業(yè)務(wù)常態(tài)。這時同化系統(tǒng)的周期問題和耦合問題會被放大父網(wǎng)格的分析場和子網(wǎng)格同化出來的分析場在側(cè)邊界附近如果不一致短短幾個小時的預(yù)報就會在邊界產(chǎn)生虛假反射。合理的做法是讓子網(wǎng)格的同化窗口和父網(wǎng)格錯開父網(wǎng)格先完成同化和一小段預(yù)報再給子網(wǎng)格提供最新的側(cè)邊界條件或者將父網(wǎng)格分析作為子網(wǎng)格的背景場來源在嵌套里去除非必要的重復(fù)同化。這些設(shè)計細(xì)節(jié)不會出現(xiàn)在算法論文里但在多源異構(gòu)系統(tǒng)的實(shí)際部署中卻是天天要面對的難題。很多所謂“多網(wǎng)格一致性”問題本質(zhì)上就是沒有把兩個同化系統(tǒng)的輸入輸出時序整理清楚。6. 觀測越來越多之后數(shù)據(jù)同化的新選擇與新麻煩6.1 從固定B到流依賴協(xié)方差集合與混合EnVar前文反復(fù)強(qiáng)調(diào)的B矩陣在傳統(tǒng)3D-Var里是逐季節(jié)統(tǒng)計的固定場但它并不知道“今天這個低壓系統(tǒng)到底有多強(qiáng)”。觀測資料越來越豐富之后業(yè)界普遍轉(zhuǎn)向集合方法用背景集合估計流依賴的誤差協(xié)方差讓分析對天氣系統(tǒng)的位置和形態(tài)更加敏感。EnKF、EnVar以及把固定B與流依賴B疊加起來的混合EnVar是目前業(yè)務(wù)系統(tǒng)的主流選項(xiàng)?；旌螮nVar的核心做法是在代價函數(shù)里同時保留氣候態(tài)B和集合B。這樣既享受集合方法的流依賴優(yōu)勢又不會因?yàn)榧蠘颖咎俣鴣G掉大尺度結(jié)構(gòu)。代價是計算量和內(nèi)存開銷明顯上升本質(zhì)上是用算力換更準(zhǔn)確的多源融合效果。如果你所在系統(tǒng)觀測密度本身不高提升B矩陣的流依賴度能帶來的收益會比盲目加觀測更大。6.2 衛(wèi)星資料讓人又愛又恨晴空之外的全天空同化衛(wèi)星資料是所有多源數(shù)據(jù)里信息量最大的部分但也是誤差特性最難掌握的。傳統(tǒng)同化基本只敢使用晴空和少云區(qū)的通道云區(qū)的觀測因?yàn)檩椛鋫鬏斔阕釉谠葡鄳B(tài)和粒子譜假設(shè)上極其脆弱一直被排除在外?？稍茀^(qū)恰恰是強(qiáng)對流系統(tǒng)的核心觀測價值最高。全天空同化就是在云和降水區(qū)也同化衛(wèi)星輻射率它通過更精細(xì)的輻射傳輸模式、場景依賴的觀測誤差模型和更復(fù)雜的質(zhì)量控制把原本被丟棄的資料重新接進(jìn)系統(tǒng)。這種方法統(tǒng)計上確實(shí)有明顯收益但代價也很現(xiàn)實(shí)全天空同化對輻射傳輸模型的偏差極其敏感一個微物理假設(shè)參數(shù)的變化就可能讓O-B殘差顯著惡化。衛(wèi)星資料的胃口有多大質(zhì)量控制的肩上的責(zé)任就有多重。6.3 算力與I/O壓力被忽視的隱形瓶頸同化系統(tǒng)的計算密度其實(shí)遠(yuǎn)高于一次簡單預(yù)報4D-Var需要反復(fù)運(yùn)行切線和伴隨模式集合方法要同時運(yùn)行幾十個成員的短預(yù)報。很多人以為瓶頸在GPU但實(shí)際上大量數(shù)據(jù)源的I/O、解碼、格式轉(zhuǎn)換、緩存同步才是日?？c(diǎn)。我們在一套同化系統(tǒng)升級時最大的改動不是算法而是把資料讀取改成了并行預(yù)取模式讓報表生成和同化計算重疊執(zhí)行單個循環(huán)的墻鐘時間直接降了三分之一。這類工程優(yōu)化沒有公式可寫但幾乎是每一套業(yè)務(wù)型同化系統(tǒng)都要踩過一遍的坑。多源異構(gòu)帶來的數(shù)據(jù)通道越來越寬I/O架構(gòu)跟不上算得再快也等于零。6.4 機(jī)器學(xué)習(xí)與同化交叉能學(xué)習(xí)但不能丟掉可診斷性這兩年機(jī)器學(xué)習(xí)在氣象領(lǐng)域大量涌入不少團(tuán)隊(duì)開始嘗試用神經(jīng)網(wǎng)絡(luò)替代部分觀測算子、甚至直接學(xué)習(xí)背景誤差協(xié)方差。這些方向確實(shí)有潛力尤其是在輻射傳輸算子的加速和非高斯誤差建模上。但我不建議剛上手同化的人直接跳到AI因?yàn)槭紫鹊脮肙-B、會用質(zhì)控統(tǒng)計、看得懂殘差分布才有能力判斷一個模型輸出是否合理。同化系統(tǒng)的護(hù)城河一直是“可診斷”每一個觀測偏差背后都應(yīng)該有可以量化的解釋。如果一個方法無法用標(biāo)準(zhǔn)工具解釋自己的行為它在業(yè)務(wù)上會非常難維護(hù)。至少在當(dāng)前階段機(jī)器學(xué)習(xí)更適合做加速器和誤差修正器而不是端到端的黑盒替換。先把現(xiàn)有系統(tǒng)的可診斷性做扎實(shí)再考慮用機(jī)器學(xué)習(xí)優(yōu)化局部環(huán)節(jié)是更穩(wěn)妥的路徑。最后再說一點(diǎn)我個人這幾年最大的心得多源異構(gòu)數(shù)據(jù)同化面對的困難真正決定系統(tǒng)質(zhì)量的因素往往不是算法新穎程度而是數(shù)據(jù)管道穩(wěn)定性。再好的同化方案如果數(shù)據(jù)報送鏈路、解碼格式、質(zhì)量標(biāo)記三天兩頭出問題實(shí)際收益都會被白白消耗掉。所以如果你準(zhǔn)備踏入氣象大數(shù)據(jù)同化這個方向我的建議是先給系統(tǒng)配一份完整的O-B監(jiān)測面板和樣本量報表把它們當(dāng)成每日值班的必需項(xiàng)而不是“有空再看”的輔助工具。不要急著追求最新穎的同化算法先讓現(xiàn)有觀測數(shù)據(jù)在系統(tǒng)里清清楚楚地進(jìn)來、明明白白地參與權(quán)重計算再談下一步優(yōu)化。很多所謂多源異構(gòu)難題當(dāng)你把每類數(shù)據(jù)的時間標(biāo)簽、觀測算子、誤差結(jié)構(gòu)、質(zhì)量控制都整理到可診斷的狀態(tài)時破解路徑已經(jīng)非常清晰了。技術(shù)更新會很快但“先學(xué)會看懂?dāng)?shù)據(jù)質(zhì)量再考慮融合算法”這個順序大概很長時間都不會變。