MULTIMODALNeurIPS 2026Fusion or Confusion?多模態(tài)復(fù)雜≠更強(qiáng)大19種方法×9個(gè)數(shù)據(jù)集一次“反復(fù)雜化”統(tǒng)一復(fù)測(cè)復(fù)雜的模型真的融合得更好嗎/FUSION OR CONFUSION近幾年來(lái)多模態(tài)學(xué)習(xí)越來(lái)越像一場(chǎng)“結(jié)構(gòu)軍備競(jìng)賽”新的融合模塊、更復(fù)雜的跨模態(tài)交互、額外的梯度調(diào)節(jié)機(jī)制不斷疊加。但是這篇文章提出了一個(gè)更加基本的問(wèn)題復(fù)雜的程度是否能帶來(lái)可以重復(fù)得到的效果呢作者把19 種高影響力的多模態(tài)方法放到統(tǒng)一協(xié)議之下在9 個(gè)真實(shí)的 數(shù)據(jù)集最多 23 種模態(tài)上重新比較。結(jié)果不是簡(jiǎn)單的“一定贏”而更加值得我們警惕的是復(fù)雜的架構(gòu)并沒(méi)有穩(wěn)定的勝過(guò)一個(gè)調(diào)得足夠認(rèn)真的簡(jiǎn)單的基線。1先把比較做公平FAIR EVALUATION BEFORE NOVELTYFig. 1多模態(tài)方法分類(lèi)及SimBaMM基線結(jié)構(gòu)論文核心信息論文標(biāo)題Fusion or Confusion? Multimodal Complexity Is Not All You Need作者Tillmann Rheude、Roland Eils、Benjamin Wild單位德國(guó)柏林健康研究所 / 柏林夏里特醫(yī)學(xué)院Charité—柏林大學(xué)醫(yī)學(xué)中心、復(fù)旦大學(xué)智能醫(yī)學(xué)研究院、德國(guó)柏林自由大學(xué)論文鏈接https://arxiv.org/abs/2512.22991v3代碼鏈接https://github.com/TillmannRheude/simple_mml_baseline一句話概括這不是再造一個(gè)更復(fù)雜的融合器而是用統(tǒng)一實(shí)驗(yàn)協(xié)議檢驗(yàn)“復(fù)雜多模態(tài)設(shè)計(jì)到底值不值”。這篇論文為什么值得仔細(xì)閱讀呢論文將近幾年來(lái)多模態(tài)的方法按照修改的位置分成了MissingData、Encoder、Fusion、Head、Gradient五種并指出現(xiàn)有一段時(shí)間以來(lái)的一個(gè)比較誤區(qū)不同的論文經(jīng)常把數(shù)據(jù)劃分、超參數(shù)預(yù)算、初始化以及優(yōu)化器都改變了。這樣一來(lái)“新模塊帶來(lái)的提高”和“實(shí)驗(yàn)條件更佳”的關(guān)系很難劃分。作者的主要行為就是把所有的干擾因素都盡量地鎖定起來(lái)然后再來(lái)看結(jié)構(gòu)創(chuàng)新還有多少可以得到的利益。SimBaMM把多模態(tài)學(xué)習(xí)壓回到一個(gè)簡(jiǎn)單的Late Fusion基線上SimBaMM 的想法很簡(jiǎn)單每一個(gè)模態(tài)都會(huì)先經(jīng)過(guò)自己編碼器然后再投影到共同的隱藏空間中去之后把各個(gè)模態(tài)的 token 送入一個(gè) Transformer 頭進(jìn)行l(wèi)ate fusion。缺少模態(tài)不會(huì)增加復(fù)雜的補(bǔ)全模塊而直接用attention mask控制可見(jiàn)的token。雖然這個(gè)基線看起來(lái)很簡(jiǎn)單但是它為所有的復(fù)雜方法提供了一條相同的“起跑線”。只有在相同的編碼器、相同的初始化、相同的訓(xùn)練/調(diào)參預(yù)算下仍然能夠保持穩(wěn)定的差距才更像是一種真正的來(lái)自于方法本身的好處。每一個(gè)樣本都只包含目前可以使用的模態(tài)集合 ?所以該框架自然地使得不同的樣本具有不同的模態(tài)組合。首先由模態(tài)專(zhuān)用編碼器提取出表示然后投影到共享的d維空間中在比較不同的融合方法的時(shí)候編碼器是相同的。融合頭只在可用模態(tài)之間進(jìn)行注意力計(jì)算之后由任務(wù)頭給出預(yù)測(cè)。01統(tǒng)一協(xié)議并不只是把網(wǎng)絡(luò)統(tǒng)一起來(lái)作者對(duì)于所有的算法都使用相同的優(yōu)化和初始化規(guī)則而且會(huì)給基線做一個(gè)系統(tǒng)性的分析。Bayesian hyperparameter optimization比較時(shí)再用Bayesian hierarchical analysis with ±1% ROPE把“真正好”、“真正壞”以及“實(shí)際上一樣”的區(qū)別開(kāi)來(lái)。比起只看一個(gè)平均值來(lái)得要嚴(yán)格一些多出了幾個(gè)點(diǎn)。02當(dāng)數(shù)據(jù)規(guī)模差距拉大之后再去考察方法是否還能夠成立9 個(gè)真實(shí)的 數(shù)據(jù)集 覆蓋了視頻、音頻、語(yǔ)言、X-ray、CT、EHR、ECG、代謝組、蛋白組等多種類(lèi)型的異構(gòu)輸入規(guī)模從小到大分別為從 2,199 個(gè)樣本到 488,131 個(gè)樣本模態(tài)數(shù)從2個(gè)一直增加到23 個(gè)。所有的結(jié)果都用subject-wise 5-fold cross-validation的方法來(lái)得到并且盡量避免同一個(gè)受試者在不同的折中泄漏。03原來(lái)的論文中提到的“評(píng)測(cè)缺口”有多大呢作者統(tǒng)計(jì)所復(fù)現(xiàn)的方法原論文中評(píng)測(cè)設(shè)置的情況0% 報(bào)告系統(tǒng)超參數(shù)調(diào)優(yōu)0% 使用統(tǒng)計(jì)顯著性分析只有 11% 使用交叉驗(yàn)證、21% 給出誤差條但是82%的人提供了單模態(tài)基線但是這些基線通常沒(méi)有得到和新的方法一樣大的調(diào)參力度。該數(shù)據(jù)本身也是本文最需要探討的背景之一。先看數(shù)據(jù)后說(shuō)“復(fù)雜度紅利”把19種方法都搬到了統(tǒng)一協(xié)議之下之后作者就不再只是問(wèn)“哪個(gè)模型排行榜第一”了而是要問(wèn)**差異是否大于±1%的實(shí)踐等價(jià)區(qū)間**該問(wèn)題改變的是結(jié)論口徑——一些看上去領(lǐng)先的小差距在統(tǒng)計(jì)層面上更適合作為“差不多”的解釋。真正要引起注意的是在不同的數(shù)據(jù)集和不同的模態(tài)上都能夠重復(fù)出現(xiàn)的收益。表 1統(tǒng)一評(píng)測(cè)涵蓋了9個(gè)真實(shí)的數(shù)據(jù)庫(kù)最大的UKB包含488131個(gè)樣本、23種模態(tài)論文第4頁(yè)表 2最近多模態(tài)方法原始評(píng)測(cè)協(xié)議統(tǒng)計(jì)調(diào)參、統(tǒng)計(jì)顯著性、交叉驗(yàn)證等等控制不一2復(fù)雜的沒(méi)有穩(wěn)定的贏結(jié)果到底應(yīng)該怎么讀呢COMPLEXITY ≠ RELIABLE GAIN19 種復(fù)雜的算法并沒(méi)有哪一種算法可以一直拉開(kāi) SimBaMMFigure 2 將各個(gè)方法相對(duì)于SimBaMM-CLS在9個(gè)數(shù)據(jù)集上進(jìn)行比較綠色表示該方法比SimBaMM-CLS好紅色表示SimBaMM-CLS的效果比較好。灰色表示落在±1%ROPE范圍之內(nèi)。最引人注目的是某一個(gè)模型的一點(diǎn)優(yōu)勢(shì)并不是沒(méi)有任何一種復(fù)雜的辦法在不同的數(shù)據(jù)集上都能得到穩(wěn)定的優(yōu)勢(shì)。對(duì)于最激烈的幾種競(jìng)爭(zhēng)對(duì)手貝葉斯分析更傾向于支持**“實(shí)踐上等價(jià)”**不是說(shuō)“復(fù)雜的辦法比簡(jiǎn)單的方法要好很多”。圖 2跨 9 個(gè)數(shù)據(jù)集的聚合森林圖綠色方法更好灰色實(shí)踐等價(jià)紅色SimBaMM-CLS 更好表 3貝葉斯層級(jí)比較最強(qiáng)的競(jìng)爭(zhēng)方法更多的時(shí)候是實(shí)踐等價(jià)而不是穩(wěn)定顯著勝出圖 3MIMIC Symile 效率分析訓(xùn)練時(shí)間、FLOPS、參數(shù)量和AUROC之間的權(quán)衡圖 4當(dāng)缺失模態(tài)的比例由原來(lái)的5%增加到了現(xiàn)在的50%各個(gè)方法都會(huì)出現(xiàn)不同程度的下降而復(fù)雜的算法也沒(méi)有能夠保持穩(wěn)定的勝出1性能稍微低一點(diǎn)但是算賬的話可能會(huì)出現(xiàn)一個(gè)數(shù)量級(jí)的誤差在MIMIC Symile上C-Mamba的AUROC是0.6603SimBaMM 為0.6545但是訓(xùn)練的時(shí)間分別是253s/epoch 和 14.6s/epoch論文中給出的換算關(guān)系是 SimBaMM 約快 17×。IMDer還需要408GFLOPS、203s/epoch但是只有0.6170AUROC。換句話說(shuō)“更復(fù)雜”的至少要同時(shí)回答性能收益是否穩(wěn)定、這個(gè)收益值是否值得付出計(jì)算成本的問(wèn)題。2缺少模態(tài)和案例研究公平協(xié)議會(huì)改變結(jié)論在缺失模態(tài)實(shí)驗(yàn)中SimBaMM 和專(zhuān)門(mén)針對(duì)缺失模態(tài)的方法隨著缺失率的增大而降低復(fù)雜的機(jī)制仍然沒(méi)有穩(wěn)定的拉開(kāi)差距更重要的就是 CREMA-D 案例原來(lái)的設(shè)置只是把 train 和 test 分開(kāi)在 test 上參與模型的選擇并且劃分不是 subject-independent 的。存在subjectleak的情況。作者改成受試者獨(dú)立劃分、統(tǒng)一調(diào)參之后AUG 對(duì)單模態(tài)視頻仍然有提升的空間但是多模態(tài)相比簡(jiǎn)單的基線優(yōu)勢(shì)已經(jīng)不存在了。該案例表明評(píng)測(cè)協(xié)議并不是“附帶細(xì)節(jié)”它將會(huì)直接影響到我們?nèi)绾稳ダ斫夥椒ǖ呢暙I(xiàn)。圖 5CREMA-D 案例原始數(shù)據(jù)協(xié)議和修正后的受試者獨(dú)立協(xié)議都會(huì)影響到SimBaMM和AUG之間的相對(duì)表現(xiàn)總結(jié)論文本身也明確限制了結(jié)論范圍不包括Early Fusion、大規(guī)模預(yù)訓(xùn)練、對(duì)比學(xué)習(xí)以及部分領(lǐng)域的專(zhuān)用結(jié)構(gòu)但是并不宣稱(chēng)“復(fù)雜的結(jié)構(gòu)總是沒(méi)有用處的”。真正可以被復(fù)用的結(jié)論就是首先要建立一個(gè)強(qiáng)有力的、簡(jiǎn)單的基準(zhǔn)模型然后用同樣的參數(shù)調(diào)整預(yù)算、受試者獨(dú)立交叉驗(yàn)證以及統(tǒng)計(jì)比較來(lái)證明新模塊帶來(lái)的收益。如果復(fù)雜的機(jī)制真的有效的話在這樣的控制之下也應(yīng)該能夠站得住腳。往期精彩推薦