神經(jīng)科學有一個讓我特別頭疼的地方大腦從來不會把它的工作方式整整齊齊地寫進某一種數(shù)據(jù)里。EEG能給出毫秒級的電活動變化fMRI能提供毫米級的血氧代謝信息fNIRS又反映皮層局部的氧合與脫氧過程PET則直接觀測分子層面的示蹤劑分布。單看其中任何一個都會覺得大腦還有好幾副面孔完全看不清。尤其這幾年凡是和腦成像沾邊的方向都在談多模態(tài)信號處理領(lǐng)域也在反復討論神經(jīng)科學中的多模態(tài)數(shù)據(jù)融合問題。前陣子我翻到一本信號處理權(quán)威刊物上的綜述文章題目就是“神經(jīng)科學中的多模態(tài)數(shù)據(jù)融合”讀完以后又在自己手頭的模擬項目里把主要思路跑了一遍今天就來把這些信號處理背后的邏輯、實操步驟和經(jīng)驗教訓一起拆開講。這篇內(nèi)容適合三類朋友一類是做腦成像分析的研究者手里同時攢著EEG和fMRI但不知道怎么才能把它們真正結(jié)合起來一類是從信號處理轉(zhuǎn)過來的工程師想快速搞明白神經(jīng)科學場景里到底有哪些融合問題、該用哪類工具還有一類是做腦機接口、認知狀態(tài)評估這類應用開發(fā)的需要一套穩(wěn)定可靠的多模態(tài)特征方案。如果你只是聽說過“融合”兩個字也沒關(guān)系我會把原理、步驟、參數(shù)和驗證方式講得盡量像一份可以直接參考的操作手冊。1. 為什么神經(jīng)科學繞不開多模態(tài)數(shù)據(jù)融合1.1 單一模態(tài)只是“一只手電筒”每類神經(jīng)影像本質(zhì)上都在用不同的物理探針“看”同一個腦。EEG檢測的是頭皮上的電位變化時間分辨率可以到毫秒級但頭皮和顱骨會把皮層上的電活動像糊了一層毛玻璃一樣抹平空間定位非常粗糙反演到皮層表面往往面臨很嚴重的不適定問題。fMRI空間分辨率很不錯能到毫米級但它測的是血氧水平依賴信號是神經(jīng)元活動之后幾秒才出現(xiàn)的間接響應時間分辨率受采樣周期限制沒法像EEG那樣捕捉快速動態(tài)變化。MEG雖然一定程度上避免了頭皮容積導體效應但設(shè)備昂貴對深部源也不敏感。fNIRS可以移動采集適合做自然場景但探測深度有限。PET能看代謝和受體分布卻需要注射示蹤劑時間分辨率就更低了。所以你把任何單一模態(tài)捧到天上都只能拿到大腦某一側(cè)面的信息。把大腦比作一間黑屋子EEG是聽聲音判斷有人在走動fMRI是透過窗戶看燈光亮滅fNIRS是摸墻壁感受溫度。每個線索都有用但任何一個拎出來都不足以完整描述房間里發(fā)生了什么。做神經(jīng)科學的多模態(tài)數(shù)據(jù)融合說白了就是把這些物理測量線索放在同一個分析框架里讓它們互相補充最后還原出更完整的神經(jīng)過程。這也是為什么幾乎所有腦疾病、認知解碼、腦機接口方向的研究都在往多模態(tài)方向走。1.2 融合真正想保留的是“共享特有”不過這里有一個很容易誤解的點多模態(tài)融合不等于把所有數(shù)據(jù)拼成一個超級大向量。很多新手拿到EEG和fMRI第一步就是把特征直接橫向拼接這種做法在數(shù)學上行得通在實際項目中卻經(jīng)常翻車因為各模態(tài)的物理單位、噪聲結(jié)構(gòu)、采樣密度完全不一樣硬拼會讓模型被某些高維度模態(tài)牽著走還會帶來嚴重的過擬合。融合要做的其實是先把信號拆成兩部分一部分是跨模態(tài)共享成分另一部分是各模態(tài)獨有的特有成分享受。打個比方你在同時記錄EEG和fMRI兩者都關(guān)注視覺皮層的某個激活過程這個激活會在兩類數(shù)據(jù)里留下方向一致的痕跡這就是共享成分但EEG里還有大量與血氧無關(guān)的節(jié)律性振蕩fMRI里也有神經(jīng)元活動之外的血管生理噪聲這些就是模態(tài)特有成分。融合算法最重要的技能是既能把共享成分提取出來增強信號又能把特有成分分開保留不把偽影或機制差異當成通用特征這才是多模態(tài)數(shù)據(jù)融合能提升后續(xù)分析的根本原因。如果只追求統(tǒng)計相關(guān)性那簡單做兩個模態(tài)的相關(guān)系數(shù)就夠了但神經(jīng)科學要的是機制解釋。給定EEG和fMRI共享成分可能對應一個共同的神經(jīng)事件特有成分可能對應模態(tài)本身的物理局限也可能是另一類神經(jīng)過程。好的融合方法會提出一個顯式的數(shù)據(jù)生成假設(shè)比如獨立成分、低秩子空間或概率圖模型把“共享”和“特有”當作可估計的變量來處理而不是把它們混在一個特征袋里。這一點是整個技術(shù)體系的靈魂也是后面談ICA、CCA、深度模型時必須時刻記住的判斷標準。1.3 數(shù)據(jù)級、特征級、決策級怎么選在這類綜述文章里融合方法通常先按融合發(fā)生的層級分成三類。數(shù)據(jù)級融合是在最原始的信號層面拼接比如把EEG和fMRI都插值到同一個時空網(wǎng)格上這類方法對配準精度要求極高臨床上異常個體差異很大時容易直接把誤差引入模型。特征級融合是目前最常用的每個模態(tài)先各自提取特征再在特征空間做聯(lián)合分析CCA、jICA、多核學習都屬于這一層。它最大的好處是靈活可以在特征階段就把噪聲和無關(guān)維度剔除掉而且不需要兩個模態(tài)的信號嚴格逐點對齊只要在時間窗或空間區(qū)域上保持一致就行。決策級融合則讓每個模態(tài)先獨立做出判斷再用投票、加權(quán)平均或元分類器合并結(jié)果魯棒性很好但會損失跨模態(tài)早期的交互信息如果兩個模態(tài)本來就有很強的互補關(guān)系決策級融合可能拿不到那個“112”的效果。做一個實驗時怎么選層級我的經(jīng)驗是如果目標是探索共享神經(jīng)機制優(yōu)先考慮特征級如果目標是魯棒的在線分類比如腦機接口決策級融合往往更抗噪聲如果數(shù)據(jù)預處理已經(jīng)很完善兩個模態(tài)的空間分辨率都很高再考慮數(shù)據(jù)級融合。沒有絕對最優(yōu)關(guān)鍵要與問題匹配很多發(fā)表的融合系統(tǒng)實際采用的是混合策略就是把特征級和決策級結(jié)合起來既保留交互又增加容錯。融合層級典型實現(xiàn)優(yōu)點代價數(shù)據(jù)級原始信號拼接、統(tǒng)一網(wǎng)格重建信息損失少、交互完整配準誤差敏感、維度爆炸特征級CCA、聯(lián)合ICA、多核學習靈活、適合探索共享成分需要合理特征設(shè)計決策級投票、元分類器、概率融合魯棒、可處理缺失模態(tài)丟失早期跨模態(tài)交互2. 核心技術(shù)點拆解從經(jīng)典信號處理到新一代多模態(tài)框架2.1 經(jīng)典方法CCA、mCCAjICA 到底在做什么經(jīng)典信號處理里最不能繞開的一個工具是典型相關(guān)分析也就是CCA。它做的事情很簡單找兩組線性投影讓投影后的兩個模態(tài)特征相關(guān)性最大。寫成語言化表達就是給定同一個被試的EEG特征矩陣X和fMRI特征矩陣YCCA要找出方向向量a和b使得X乘a與Y乘b之間的相關(guān)系數(shù)盡可能高。求解過程最后會變成一個廣義特征值問題屬于數(shù)學上很成熟的框架不需要過多調(diào)參就能穩(wěn)定求解。CCA之所以適合多模態(tài)神經(jīng)科學是因為它天然在尋找“共享低維子空間”。EEG和fMRI分別從電活動和血氧兩個側(cè)面反映同一個認知過程CCA可以把它們投影到一個公共坐標系里讓共享信號浮現(xiàn)出來。但CCA只保證了相關(guān)性強并沒有保證這些投影對應獨立的神經(jīng)源所以實際項目里經(jīng)常把CCA作為前置降維再配合獨立成分分析使用。這就引出了另一套經(jīng)典組合mCCAjICA即先做多模態(tài)CCA把每個模態(tài)內(nèi)部做一次重排和降維再把降維后的多模態(tài)特征拼接起來輸入到聯(lián)合ICA中做盲源分離。jICA的核心假設(shè)是每個模態(tài)的數(shù)據(jù)經(jīng)過標準化后可以被有限個空間獨立成分線性混合。把多個模態(tài)的特征矩陣在樣本維上“摞”成一個聯(lián)合矩陣然后假設(shè)這個聯(lián)合矩陣存在一個公共的混合過程通過獨立成分分析把共享源和特有源同時解出來。這樣得到的獨立成分可能就對應一類具有明確時間或空間模式的神經(jīng)過程。這個方法在腦成像融合里很受歡迎因為它避免了純CCA只能找相關(guān)性、不能區(qū)分來源的問題。需要注意ICA本身存在成分順序不確定、幅值尺度不確定兩個老毛病所以在實際操作時不能跑一次就相信結(jié)果需要多次運行并做穩(wěn)定性驗證這個后面再展開。除了CCA和ICA矩陣分解和張量分解也常被拿來做多模態(tài)融合。把數(shù)據(jù)組織成“被試×時間×空間”三階張量時可以用張量分解把不同被試、不同模態(tài)的共享模式抽出來。張量方法對缺失數(shù)據(jù)比較敏感但它在保留多維結(jié)構(gòu)方面比簡單的矩陣拼接更合理。對于初學者我建議先掌握CCA、mCCAjICA這兩套它們基本覆蓋了“找相關(guān)”和“盲源分離”兩類最重要的需求而且算法成熟跑起來也快。2.2 深度多模態(tài)非線性交互與表征學習傳統(tǒng)方法在處理線性關(guān)系時很穩(wěn)但真實神經(jīng)數(shù)據(jù)往往是強非線性的。比如EEG中的節(jié)律變化與fMRI血氧響應之間并不只存在線性映射不同任務狀態(tài)下可能還會切換模式。這時候深度學習模型就體現(xiàn)出優(yōu)勢。深度多模態(tài)融合大體上也分三個思路早期融合是直接把原始特征喂進網(wǎng)絡讓網(wǎng)絡自己學底層交互后期融合是每個模態(tài)先單獨過一個網(wǎng)絡再把高層特征拼接或用注意力加權(quán)混合融合則在不同層級多處合并。在神經(jīng)科學場景里跨模態(tài)注意力是一種特別值得留意的設(shè)計。它的做法是讓fMRI特征去“查詢”EEG時間特征中最重要的時間片段反過來也讓EEG特征去關(guān)注fMRI中對應的空間區(qū)域。這種機制相當于讓模型動態(tài)判斷哪些信息需要跨模態(tài)對齊而不是靠固定拼接權(quán)重。另一個常見結(jié)構(gòu)是多模態(tài)自編碼器目標是學習一個共享的隱空間表示同時保留每個模態(tài)自己的重構(gòu)能力。這類模型的好處是即使有一半模態(tài)缺失還能通過隱空間補全對實際采集中“某個模態(tài)沒有記錄成功”的情況比較友好。還有一個很有用的方向是對比學習。核心思想是拉近同一認知狀態(tài)下不同模態(tài)的表示推開不同狀態(tài)下的表示。這種思路很適配神經(jīng)科學里“同一個認知過程會同時在多個腦信號中出現(xiàn)”的假設(shè)而且對比學習對標簽依賴較低在無監(jiān)督或弱監(jiān)督場景下也能學到有意義的共享表征。不過深度模型的樣本量要求是個硬門檻。神經(jīng)影像數(shù)據(jù)動輒幾千維特征但一個實驗通常只有幾十到幾百個被試直接上復雜深度模型很容易過擬合。我個人的判斷是當樣本量小于五百、模態(tài)異質(zhì)性很強時經(jīng)典CCA/ICA加上線性分類器經(jīng)常比深度模型更可靠深度模型更適合那些數(shù)據(jù)量大、需要做非線性交互建模、或者要直接解碼復雜認知狀態(tài)的任務。2.3 圖信號處理把大腦當圖來融合圖信號處理這幾年給多模態(tài)融合帶來了一個很不一樣的視角。它的基本想法是把大腦看成一個圖結(jié)構(gòu)節(jié)點是感興趣腦區(qū)邊是這些腦區(qū)之間的結(jié)構(gòu)連接或功能連接。多模態(tài)數(shù)據(jù)在這里變得非常自然——結(jié)構(gòu)成像得到的纖維連接強度可以作為圖邊的權(quán)重功能數(shù)據(jù)的時間序列則當作定義在圖節(jié)點上的信號。有了圖就能用圖傅里葉變換、圖濾波器這類工具把功能信號映射到結(jié)構(gòu)拓撲里分析。舉個例子如果我們知道兩個腦區(qū)之間有一條很強的白質(zhì)纖維通路圖信號處理就會認為這兩個節(jié)點上的功能時間序列應該以某種方式耦合。你可以把結(jié)構(gòu)連接當作先驗的“接線圖”然后對功能信號做平滑或濾波得到全腦同步性或局部信息差異。這種融合方式最迷人的地方在于它不是簡單地把兩個模態(tài)特征拼在一起而是在一個統(tǒng)一的表示空間里同時利用結(jié)構(gòu)和功能并且結(jié)果有很強的可解釋性。結(jié)構(gòu)連接決定了信號傳播的路徑功能信號是這條路徑上實際跑起來的信息。兩者不一致的地方往往才是最有科研價值的點比如某種疾病狀態(tài)下結(jié)構(gòu)連接還很完整功能耦合卻已經(jīng)下降這種“結(jié)構(gòu)-功能解耦”現(xiàn)象很難用傳統(tǒng)特征拼接捕捉到。圖信號處理也有一堆坑最核心的是圖定義要可靠。如果結(jié)構(gòu)連接本身帶有纖維追蹤算法引入的偏差后面的圖濾波結(jié)果就會被污染。所以做這類分析時需要先檢查圖的連通性、邊權(quán)分布、是否存在孤立節(jié)點再做融合。另外圖濾波器有多個參數(shù)比如低通濾波的截止頻率除非你明確知道自己在提取什么神經(jīng)模式否則不要隨手改參數(shù)這會讓結(jié)果很難解釋。圖信號處理在神經(jīng)科學里算相對新銳的方向但它為多模態(tài)融合提供的是一個結(jié)構(gòu)性很強的假設(shè)這在很多實證研究里格外有價值。2.4 按目標選方法的速查表算法選擇不是越高級越好而是要和實驗目標、樣本量、數(shù)據(jù)質(zhì)量匹配。我習慣在開會設(shè)計階段先問清楚是要探索共享子空間還是要做狀態(tài)分類還是要解釋結(jié)構(gòu)和功能的關(guān)系。不同的答案直接指向不同的工具。實驗目標適用方案理由探索跨模態(tài)共享低維結(jié)構(gòu)CCA、mCCA無監(jiān)督、穩(wěn)健、解釋性強分離共享神經(jīng)源與特有源jICA、mCCAjICA能同時得到獨立成分和空間模式認知狀態(tài)分類與回歸稀疏線性模型、深度混合融合可以學習復雜非線性決策邊界結(jié)構(gòu)-功能關(guān)系分析圖信號處理、圖神經(jīng)網(wǎng)絡直接利用大腦拓撲先驗在線系統(tǒng)、欠佳信噪比決策級融合抗噪、便于處理缺失通道3. 一套可以落到代碼里的多模態(tài)融合實操流程3.1 預處理與時間空間對齊這一步直接決定結(jié)果的上限很多團隊做多模態(tài)融合非常投入模型一個比一個復雜最后效果卻不行問題往往不是出在算法而是出在預處理和對齊。必須先承認一個事實EEG和fMRI的時間標記系統(tǒng)是兩套完全不同的采樣時鐘空間坐標系也完全不同指望它們天然對齊是不可能的。時間對齊方面最穩(wěn)妥的做法是在采集階段就建立同步標志。例如每次fMRI掃描開始時用一臺同步設(shè)備同時給EEG系統(tǒng)打一個觸發(fā)脈沖這樣后處理時可以根據(jù)觸發(fā)碼把兩個數(shù)據(jù)流拉到同一個時間軸上。EEG采樣率通常是1000Hz左右fMRI每個腦體積的采樣間隔往往是2秒或更長二者不能逐點對應需要決定是在fMRI體積內(nèi)聚合EEG特征還是把fMRI信號插值到更細的時間網(wǎng)格。我的建議是優(yōu)先做時間窗聚合比如把120個EEG時間點平均成一個特征去對應一個fMRI體積這種做法的好處是時間平滑本身能壓掉一部分噪聲而單純插值反而會引入虛假的時間分辨率?？臻g對齊的核心是按標準腦空間統(tǒng)一。第一步是把每個被試的解剖像處理和分割然后用非線性配準把所有腦影像映射到一個標準模板空間對EEG和fNIRS來說則需要把電極或通道位置也配到同一個空間坐標這樣后續(xù)計算源性分析或區(qū)域統(tǒng)計時才能保證每個模態(tài)對應同一批腦區(qū)。如果忽略空間對齊哪怕算法再高級得到的所謂融合特征也可能是同一個腦區(qū)的不同部分在互相對話意義就變味了。再看偽影去除。EEG里最常處理的是眨眼、水平眼動和肌肉偽影fMRI里主要是頭動、呼吸和心臟搏動相關(guān)噪聲。一個常見的錯誤是祈禱或過度濾波。ICA清理EEG偽影時如果跑出太多成分很容易把真實神經(jīng)信號當成偽影扔掉fMRI如果空間平滑核取得過大又會讓原本銳利的激活邊界變得模糊。最好的做法是保留足夠多的診斷圖把每個模態(tài)的清理前清理后對比都留下來這個習慣在我后來寫報告和應對審稿意見時幫了大忙。3.2 特征提取、標準化和降維完成預處理后就會面對第二個關(guān)鍵問題模態(tài)特征到底提取什么。EEG這邊常用的特征包括頻段功率、時頻能量、事件相關(guān)電位等在任務時間點上的幅度、以及功能連接矩陣等。fMRI這邊常用的是腦區(qū)平均時間序列、腦區(qū)兩兩之間的皮爾遜相關(guān)、以及從相關(guān)矩陣派生的圖論指標。fNIRS則重點關(guān)注氧合血紅蛋白和脫氧血紅蛋白的變化斜率與幅度。這些特征的選擇應該由實驗假設(shè)決定不要順手把所有能算的都算出來。特征加得越多樣本維度越高后續(xù)模型就越容易過擬合。在融合建模之前一定要做跨模態(tài)標準化。最簡單也最有效的是按樣本做Z-score把每個模態(tài)的每個特征在所有樣本上的均值減掉、除以標準差讓不同單位、不同尺度的特征放在同一數(shù)量級上。這一步聽上去簡單但真的有很多人忘了做結(jié)果某個模態(tài)因為數(shù)值范圍更大在后續(xù)分析中被單獨控制整個融合結(jié)果被一個模態(tài)主導。另一個容易被忽略的細節(jié)是樣本配對。EEG數(shù)據(jù)、fMRI數(shù)據(jù)、行為數(shù)據(jù)應該來自同一次實驗中的同一時間窗如果不同模態(tài)來自略有差異的試次數(shù)要先對齊樣本索引或者用插值補全。至于降維CCA本身是一種降維mCCAjICA也是一樣。如果特征量很大比如EEG的時頻特征加上fMRI的連接矩陣整體維度可能到幾千甚至上萬而樣本量只有幾十個這時必須把維度壓下來。實際操作中我會先用主成分分析在每個模態(tài)內(nèi)部做初步降維保留盡可能多的方差但不強行設(shè)定一個固定維度然后讓CCA或聯(lián)合ICA在這個壓縮空間里去搜索跨模態(tài)結(jié)構(gòu)。這比直接拼原始特征穩(wěn)健很多。3.3 模型訓練、交叉驗證與置換檢驗的參數(shù)選擇神經(jīng)影像數(shù)據(jù)的樣本量通常不大所以驗證方案比模型本身更講究。多模態(tài)融合里最常見的錯誤是隨機劃分訓練集和測試集時忽略了同一被試的多段數(shù)據(jù)會同時出現(xiàn)在兩邊造成信息泄漏。正確的做法是首先按被試劃分所有屬于同一個被試的樣本必須全部放進訓練集或全部放進測試集不能跨集。其次如果用了嵌套交叉驗證內(nèi)層用來選擇超參數(shù)外層用來評估泛化誤差這樣模型成績才經(jīng)得起檢驗。舉個例子假設(shè)有一個融合分類任務特征是EEG和fMRI融合后的低維表示分類器用支持向量機。外層的十折交叉驗證把一百個被試分成十份每次留一份做測試內(nèi)層在訓練數(shù)據(jù)上再分五折用交叉驗證選分類器參數(shù)。這樣做出來的準確率不會因為參數(shù)調(diào)得太多而虛高。最后還要做一個置換檢驗把標簽隨機打亂若干次重復訓練得到一組“純屬偶然”的準確率分布看原始模型的準確率落在分布的哪個位置。如果實際分類準確率比置換分布高出很遠我們才敢認為這個融合結(jié)論不是碰巧。在這個流程里有幾個參數(shù)需要你明確記錄ICA成分數(shù)、CCA保留下來的典型變量對數(shù)、分類器的正則化參數(shù)、置換檢驗次數(shù)。不同的參數(shù)組合會導致結(jié)果不同所以建議設(shè)置一個比較小的參數(shù)網(wǎng)格固定隨機種子做幾次重復實驗把結(jié)果的均值與方差都報告出來。尤其要小心的是不要為了提高準確率反復回到同一個測試集上試參數(shù)這等于把測試集變成了訓練集的一部分。這在多模態(tài)數(shù)據(jù)融合中很普遍因為特征多、參數(shù)多一不留神就變成“測試集竊取”。3.4 一個視覺工作記憶實驗的融合模板用我最近在某個模擬項目里搭過的一套流程來舉例。實驗任務是視覺工作記憶負荷分低、中、高三個條件同步采集64導EEG和fMRIfMRI采樣時間設(shè)為兩秒一個腦體積共招募了一批健康被試。預處理階段我做了這么幾件事對EEG做帶通濾波和ICA偽影清理把頭部運動和眼跳段剔除對fMRI做頭動校正、時間層校正并配準到標準腦模板空間。每個被試的EEG時間窗與fMRI體積在時間軸上通過觸發(fā)脈沖對齊最后用相同的時間窗切出樣本。特征層面從EEG中提取枕區(qū)節(jié)律功率和視覺工作記憶相關(guān)的事件相關(guān)電位成分從fMRI中提取與視覺加工相關(guān)的腦區(qū)平均激活值以及這些腦區(qū)之間的功能連接。然后對兩個模態(tài)分別做Z-score各自做主成分降維降到大約十五到二十個主成分再用mCCAjICA去搜索共享源和特有源。最終特征由共享源對應的投影組成輸入到支持向量機做三分類。單模態(tài)作為參照時EEG分類準確率在六成到七成的范圍fMRI略高一些融合以后能到八成以上。這個數(shù)字不是拿來當作固定基準只是想說明融合提升通常不是線性疊加而更像“一個模態(tài)提供了時間精度另一個模態(tài)提供了空間約束”兩個維度一旦對齊分類邊界就變得非常干凈。整個流程里最費時間的其實是預處理和質(zhì)量檢查建模本身可能只需要很短的時間?，F(xiàn)在我做類似實驗會直接把質(zhì)量檢查流程固定成腳本先把所有被試的配準質(zhì)量、偽影殘留、時間同步誤差跑一遍報表再決定要不要進入融合分析。4. 常見問題與排查技巧實錄4.1 時間空間對不齊結(jié)果到處漂移多模態(tài)融合第一類常見問題就是時序不同步。EEG和fMRI設(shè)備各有自己的內(nèi)部時鐘實驗控制電腦發(fā)送的觸發(fā)信號也可能存在延遲。如果開始分析后才發(fā)現(xiàn)兩個模態(tài)在同一個時間點上的對應關(guān)系錯了幾百毫秒后面所有結(jié)果都會變亂。排查技巧是先做一個簡單任務比如短促的視覺閃光分別在EEG和fMRI中找到對應響應峰值核對兩個峰值的時間差是否和實驗設(shè)計一致。如果發(fā)現(xiàn)系統(tǒng)延遲就要在預處理腳本中加入固定的時間偏移校正而不是在模型階段試圖“學”出這個延遲?？臻g對齊問題同樣隱蔽。EEG電極位置記錄和fMRI標準空間之間如果坐標轉(zhuǎn)換出錯最后分析的腦區(qū)歸屬就會錯位。我自己踩過一次坑某個被試的電極位置因為頭圍記錄錯誤在空間圖里整體偏移了好幾個厘米融合結(jié)果里出現(xiàn)了一個虛假的“跨模態(tài)相關(guān)峰”排查到最后才發(fā)現(xiàn)是配準出錯。解決方法是先把每個模態(tài)的個體空間配準可視化疊加檢查再進入統(tǒng)計建模不要只看數(shù)值。還有一類是時間窗不一致。fMRI時間序列本身包含血流動力學延遲EEG則幾乎是實時的做一個事件相關(guān)設(shè)計時不能把兩者直接按刺激起點對齊。比較穩(wěn)妥的做法是給fMRI信號做血流動力學響應函數(shù)的延遲建?；蛘甙袳EG特征也挪到相同的時間窗口上讓兩個模態(tài)反映的是同樣一段認知加工后的大腦狀態(tài)。4.2 過擬合、不穩(wěn)定與可解釋性翻車神經(jīng)數(shù)據(jù)維度高、樣本少過擬合幾乎是多模態(tài)融合的默認風險。最典型的表現(xiàn)是訓練集準確率接近滿分測試集準確率卻掉得離譜。除了前面說的按被試劃分交叉驗證我還會做一次“特征開關(guān)實驗”只留EEG、只留fMRI、隨機打亂其中一個模態(tài)的時間序列看看融合模型的成績會因此下降多少。如果隨機打亂后性能沒有明顯下降說明模型根本沒有在真正利用那個模態(tài)的信息所謂融合增益就是假象。這個測試操作成本低說服力很高。ICA的不穩(wěn)定是另一個困擾很多人的問題。獨立成分分析每次運行時混疊矩陣和成分排序都是隨機初始化產(chǎn)生的如果只跑一次就把某個獨立成分當成結(jié)果很可能被隨機噪聲誤導。我的做法是把ICA重復運行多次每次記錄得到的空間模式然后把這些模式做聚類只保留那些重復出現(xiàn)超過一半的成分作為穩(wěn)定成分進入后續(xù)融合分析。同時固定隨機種子并記錄ICASSO等穩(wěn)定性指標雖然會多花一點時間但結(jié)果可解釋性大幅度提升。最后可解釋性要求特征能夠映射回原始的腦空間。如果融合模型得到的是高維向量最好用權(quán)重可視化的方式把重要特征投回到電極位置或體素位置看看激活是否落在預期的腦區(qū)。否則模型只會給你一個數(shù)字沒有科學意義。4.3 多模態(tài)研究報告里的幾條“防拒稿”細節(jié)這部分的經(jīng)驗來自多次和審稿人打交道的體會也來自閱讀大量同行工作后的總結(jié)。第一多模態(tài)融合論文最受質(zhì)疑的就是“融合增益是不是真的”。審稿人通常希望看到融合結(jié)果與最優(yōu)單模態(tài)的比較而且比較應該在同一套交叉驗證流程下進行不能用單模態(tài)的舊結(jié)果和融合的新結(jié)果對比。第二要充分報告缺失數(shù)據(jù)。真實實驗里總會有幾個被試某一模態(tài)的數(shù)據(jù)不合格你必須說清楚排除了多少被試以及缺失模態(tài)是否用插值或決策級融合處理了。第三給出參數(shù)選擇的依據(jù)。ICA成分數(shù)為什么是這么多CCA保留了哪些典型變量這些細節(jié)既是可復現(xiàn)性的基礎(chǔ)也是我不被懷疑“挑參數(shù)”的關(guān)鍵。第四圖像化呈現(xiàn)融合權(quán)重很重要。只用柱狀圖說明準確率提升是不夠的把融合之后的空間模式或時間模式畫出來讀者才能直觀看到模型到底融合了什么。提示準備一篇多模態(tài)論文時我建議把“模態(tài)單獨結(jié)果”“模態(tài)隨機打亂結(jié)果”“融合結(jié)果”三張表都做出來放不放進正文另說至少在你的工作文檔里必須有這樣應對審稿疑問時心里不虛。最后再分享一點長期心得我做了幾個多模態(tài)融合相關(guān)的模擬項目和復盤之后最大的體會是多模態(tài)數(shù)據(jù)融合真正難的不是算法而是你在把數(shù)據(jù)倒進模型之前有沒有想清楚每個模態(tài)背后的物理機制和時間尺度。EEG、fMRI、fNIRS各有各的時間響應特性各受各的噪聲影響如果不理解這些本質(zhì)差異再復雜的模型也只會幫你“編”出一個好看的統(tǒng)計結(jié)果而不是還原出一段真實的神經(jīng)過程。我現(xiàn)在拿到一批新數(shù)據(jù)第一時間不是打開軟件跑模型而是先把時間軸、坐標空間、偽影殘留、樣本配對這些基礎(chǔ)問題梳理清楚這個過程往往能避開后續(xù)絕大多數(shù)的坑。如果你正在計劃做多模態(tài)融合我的建議是從一個簡單、穩(wěn)定、可解釋的基線開始比如mCCAjICA加線性分類器先把流程跑通確認融合確實帶來增量再考慮引入深度模型或圖信號處理這些更復雜的工具。這套思路讓我少走了很多彎路也希望這些信號處理的拆解和實操筆記能成為你進入這個方向的一塊穩(wěn)定踏板。