1. 為什么用“Gestalt”來思考多模態(tài)智能最近和人大多模態(tài)研究團(tuán)隊(duì)交流時我對一個詞印象特別深——Gestalt。這個詞原本來自格式塔心理學(xué)大意是“整體大于部分之和”中文語境里常被譯成“完形”。用它來命名一個做視覺與語言融合研究的團(tuán)隊(duì)本身就傳遞了一個很明確的態(tài)度多模態(tài)智能的突破點(diǎn)不在某個模態(tài)的單點(diǎn)能力而在模態(tài)之間的結(jié)構(gòu)關(guān)系、相互作用和整體涌現(xiàn)。我先說一個很直觀的現(xiàn)象。今天很多多模態(tài)模型給你一張圖它能告訴你“圖片里有一個戴帽子的男人在騎自行車”但如果你追問一句“這個人的心情大概是什么狀態(tài)”“他騎車的動作是放松還是緊張”絕大多數(shù)模型會卡住。不是模型的參數(shù)不夠也不是訓(xùn)練數(shù)據(jù)里缺這種圖片而是模型沒有真正建立起模態(tài)之間的“完形結(jié)構(gòu)”——它理解了物體但沒有理解場景它識別了要素但沒有捕捉要素之間的張力。這種張力恰恰是人類視覺語言智能最獨(dú)特的地方。人類看到一個畫面時不會先逐幀標(biāo)注“這是桌子、這是椅子、這是人”我們直接整體接收到一個場景的意義語言再輔助我們把這個意義反過來精細(xì)化成可表達(dá)的信息。Gestalt團(tuán)隊(duì)的研究思路本質(zhì)就是想讓AI具備這種“整體感知—局部驗(yàn)證—再整體理解”的能力而不是走傳統(tǒng)目標(biāo)檢測那套“先切碎、再拼回”的老路。這次對話中有一個很值得記錄的判斷多模態(tài)智能的真正門檻不是把視覺和語言放進(jìn)同一個模型里而是讓它們在信息層面發(fā)生化學(xué)反應(yīng)。視覺提供空間結(jié)構(gòu)語言提供邏輯結(jié)構(gòu)兩者互相約束、互相補(bǔ)充才會出現(xiàn)單模態(tài)模型永遠(yuǎn)學(xué)不到的“信息涌現(xiàn)”現(xiàn)象。下面我把這次交流里的核心觀點(diǎn)、技術(shù)思路和落地場景拆開來講。2. 視覺語言耦合的核心邏輯兩層協(xié)同機(jī)制2.1 感知層對齊從特征匹配到結(jié)構(gòu)匹配早期視覺語言模型的做法很簡單——把圖片過一遍CNN或ViT把文字過一遍Transformer然后拿兩個特征向量做對比學(xué)習(xí)。這種方案在圖文檢索任務(wù)上是有效的CLIP就是典型代表。但它的上限也很明顯特征向量的對齊是“淺層”的模型知道圖片和文本“說的是同一件事”但不知道這件事內(nèi)部的結(jié)構(gòu)關(guān)系。Gestalt團(tuán)隊(duì)在交流中特別強(qiáng)調(diào)了一個詞結(jié)構(gòu)對齊。什么叫結(jié)構(gòu)匹配舉個例子“一個男人推著嬰兒車過馬路”和“一個男人推著購物車過馬路”兩張圖在像素層面差異不小但語義結(jié)構(gòu)非常相似——主體是人、動作是推、被推的物體是可移動的載具、場景是馬路。反過來“一個男人抱著嬰兒站在馬路邊”和上面兩句話共享很多元素但結(jié)構(gòu)關(guān)系完全不同因?yàn)槟銢]法在“男人—嬰兒—馬路”之間建立“推”這個動作關(guān)系?；谶@個理解高級的模態(tài)對齊不該只算“整體相似度”而應(yīng)該同時對齊三樣?xùn)|西實(shí)體與實(shí)體的對應(yīng)關(guān)系、實(shí)體與動作的從屬關(guān)系、動作與場景的因果約束。我在實(shí)踐中接觸過不少多模態(tài)檢索系統(tǒng)最容易出錯的情況恰恰就是“要素對上了、結(jié)構(gòu)對不上”比如把“狗追貓”的圖匹配到“貓追狗”的文本上。要讓模型突破這個瓶頸感知層就不能只做全局特征對齊得引入?yún)^(qū)域級、關(guān)系級的對齊目標(biāo)。這個思路放在工程落地里最直接的效果是圖文檢索和視覺問答的魯棒性會顯著提升。2.2 認(rèn)知層推理語言作為視覺理解的“杠桿”第二個層面更有意思——語言不只是用來匹配圖片內(nèi)容的它還可以反過來引導(dǎo)視覺理解的過程。Gestalt團(tuán)隊(duì)稱這個過程為“語言引導(dǎo)的視覺推理”我特別認(rèn)同這個說法。人類看一張復(fù)雜圖片時注意力不是均勻分布的。你問“圖中有幾個人”你會主動搜索人體區(qū)域你問“這些人之間的情緒關(guān)系”你會重點(diǎn)看面部表情和肢體朝向你問“這個場景適合做什么”你會整體掃描環(huán)境功能分區(qū)。語言在這里充當(dāng)了“注意力控制器”。目前很多多模態(tài)大模型已經(jīng)在做類似的事情比如通過用戶問題生成視覺prompt再用prompt去約束視覺編碼器的注意力權(quán)重。但實(shí)際做下來我發(fā)現(xiàn)一個容易被忽略的問題語言引導(dǎo)不能只停留在“加權(quán)”這個層面它需要改變視覺特征的組織方式。什么意思如果你問“這些人之間的關(guān)系”輸入到視覺端的就不僅僅應(yīng)該是“關(guān)注人臉”這種區(qū)域級指令還應(yīng)該包含關(guān)系建模所需的特征重組邏輯——比如把多個人體框之間的相對距離、朝向夾角、交互接觸度作為顯式特征提取出來。團(tuán)隊(duì)提到一個他們在實(shí)驗(yàn)里反復(fù)驗(yàn)證的現(xiàn)象當(dāng)語言指令從“是什么”升級為“關(guān)系怎么組織”時視覺模型的特征分布會發(fā)生明顯的變化原本散落在不同區(qū)域的特征點(diǎn)會向關(guān)系結(jié)構(gòu)的方向聚合最終形成高層次的語義表征。這其實(shí)就是“信息涌現(xiàn)”在表征層面的體現(xiàn)。想在應(yīng)用層復(fù)現(xiàn)這種效果提示詞工程不能只寫“描述這張圖”而應(yīng)該寫“請找出圖中人與人之間的互動關(guān)系并用先后順序描述因果關(guān)系”這種問題結(jié)構(gòu)會讓模型調(diào)用完全不同的推理路徑。3. 信息涌現(xiàn)從對齊到生成的質(zhì)變3.1 涌現(xiàn)的層次信號到符號的躍遷涌現(xiàn)在多模態(tài)智能里有三個遞進(jìn)層次這個觀點(diǎn)是交流中很核心的一條主線我用實(shí)際項(xiàng)目經(jīng)驗(yàn)來解釋一下。第一層是統(tǒng)計涌現(xiàn)。模型看過海量的圖文對之后能夠統(tǒng)計出“什么樣的視覺特征通常和什么詞一起出現(xiàn)”。這個層次不需要真正的理解它只是概率分布的擬合。現(xiàn)在大多數(shù)檢索類應(yīng)用停留在這個層級。第二層是結(jié)構(gòu)涌現(xiàn)。模型不僅知道共現(xiàn)關(guān)系還能捕捉到跨模態(tài)的結(jié)構(gòu)規(guī)律——物體與動作之間的邏輯關(guān)系、場景與事件之間的時空約束。比如你給模型看一張“廚房里散落食材和廚具”的照片它不僅能識別出“這是廚房”還能推斷出“這里可能正在準(zhǔn)備某頓飯”因?yàn)椤笆巢摹獜N具—廚房”這三者的關(guān)系鏈在訓(xùn)練數(shù)據(jù)中形成了穩(wěn)定的結(jié)構(gòu)模式。第三層是語義涌現(xiàn)。模型從多模態(tài)輸入中提取到超越單模態(tài)信息量的新語義。舉個例子一張照片里一個人的手放在另一個人肩上單獨(dú)看視覺資料模型只能知道“手接觸肩膀”單獨(dú)看語言描述模型只知道“兩人存在互動”但當(dāng)兩者結(jié)合時模型可以推斷出“兩人關(guān)系親密、可能是朋友或家人、這個場景發(fā)生在輕松社交環(huán)境”。這個判斷無法從視覺或語言任何一個單獨(dú)模態(tài)中得出只能靠兩個模態(tài)的信息相互補(bǔ)全。這就是我在日常工作里最看重的AI能力——跨模態(tài)信息補(bǔ)全。從工程角度看評估一個多模態(tài)模型是停留在第一層還是已經(jīng)接近第三層有一個很簡單的測試方法你把圖片輸入和文字輸入分別丟給單模態(tài)模型把兩者得到的結(jié)果加權(quán)合并再和完整多模態(tài)模型的結(jié)果做對比。如果多模態(tài)模型明顯優(yōu)于“單模態(tài)加權(quán)合并”的baseline說明存在信息涌現(xiàn)如果性能差不多那本質(zhì)上只是兩個單模態(tài)系統(tǒng)的拼接。3.2 對撞實(shí)驗(yàn)一張圖片多種表述多種結(jié)論交流中Gestalt團(tuán)隊(duì)分享的一個實(shí)驗(yàn)設(shè)計讓我印象深刻他們稱之為“對撞實(shí)驗(yàn)”。做法很簡單同一張圖片配不同的語言線索讓模型做同一個任務(wù)。比如一張圖里有三個人圍坐在一起桌上放著筆記本電腦和文件。語言線索A是“這是一個創(chuàng)業(yè)團(tuán)隊(duì)的周會”語言線索B是“這是三位老友的周末聚會”語言線索C是“這是一個審訊室里的對話”。模型對同一副畫面的解讀會完全不同——A線索下它關(guān)注電腦上的內(nèi)容、成員分工B線索下它關(guān)注表情互動、親密度C線索下它關(guān)注肢體語言、坐姿緊張程度。這個實(shí)驗(yàn)最核心的價值在于驗(yàn)證一個命題多模態(tài)模型到底是“看圖說話”還是“按提示看圖”。如果模型在不同語言線索下對視覺區(qū)域的注意力分布沒有顯著變化說明語言模態(tài)沒有真正參與視覺理解只是作為輸出端的一層“帽子”。真正合格的模型應(yīng)該在語言線索改變時呈現(xiàn)出明顯的視覺注意力遷移。我自己在測試智能客服的圖片理解能力時復(fù)用了一套類似的思路。用戶發(fā)來一張產(chǎn)品照片我分別用“請描述外觀”、“請?jiān)u估損壞程度”、“請判斷是否可以繼續(xù)使用”三個問題去問同一個視覺模型發(fā)現(xiàn)模型的關(guān)注點(diǎn)和推理路徑確實(shí)會發(fā)生變化——這就說明模型的視覺編碼層是可被語言動態(tài)調(diào)制的。這個特性在落地中非常重要因?yàn)樗鼪Q定了一個模型能否適應(yīng)開放式真實(shí)場景而不是只在固定任務(wù)格式下生效。4. 實(shí)操視角多模態(tài)智能如何與AI智能體結(jié)合4.1 智能體環(huán)境感知視覺語言并非只是“看圖說話”交流中聊到一個趨勢多模態(tài)大模型的落地方向正從“被動問答”轉(zhuǎn)向“主動感知”這正是AI智能體的核心需求。如果你讓一個智能體“幫我在這個房間里找一把紅色椅子”它不能只做“看圖片輸出描述”這個動作它需要把視覺理解結(jié)果轉(zhuǎn)化為行動指令——先定位椅子的候選區(qū)域再分析紅色是否與周圍環(huán)境形成干擾再規(guī)劃移動路徑最后執(zhí)行交互操作。每一步都要依賴跨模態(tài)的協(xié)同而不是簡單的檢索引擎。在當(dāng)前業(yè)界實(shí)踐里智能體的多模態(tài)感知通常采用“三級流水線”底層是視覺定位模型負(fù)責(zé)把物體的位置框出來中間層是語言條件感知模塊根據(jù)任務(wù)描述調(diào)整視覺特征的權(quán)重頂層是規(guī)劃模塊將感知結(jié)果映射為動作序列。我見過很多項(xiàng)目在中間層偷懶直接用一個大模型在底層檢測框上做裁剪分類結(jié)果就是“模型知道椅子在哪里但不知道怎么把信息變成行動”。核心原因在于感知、語義理解、行動規(guī)劃三者之間的信息格式?jīng)]有打通。復(fù)現(xiàn)一個合格的多模態(tài)智能體感知鏈路至少需要滿足三個條件視覺編碼器輸出的特征必須保留空間坐標(biāo)信息語言指令需要轉(zhuǎn)化成與視覺特征同緯度的條件向量規(guī)劃模塊需要能消費(fèi)結(jié)構(gòu)化的時空數(shù)據(jù)比如“椅子在視野右側(cè)偏下角距離約1.5米”。我在真實(shí)項(xiàng)目里踩過最深的坑是空間坐標(biāo)信息在視覺編碼階段被池化層直接丟掉了導(dǎo)致模型準(zhǔn)確地識別出物體、但完全無法回答“物體在畫面的哪個位置”。4.2 應(yīng)用案例拆解桌面級視覺助手的完整工作流我在去年做過一個“桌面級視覺助手”的原型項(xiàng)目和Gestalt團(tuán)隊(duì)研究的思路高度吻合這里正好拆解一下完整工作流供大家參考。需求場景是用戶拍一張辦公桌照片智能體需要自動識別桌面上有哪些物品、哪些物品可能過期、哪些物品需要補(bǔ)充。如果只靠傳統(tǒng)目標(biāo)檢測你訓(xùn)練一大堆類別標(biāo)簽也能做到七八成準(zhǔn)確率但遇到“一個透明玻璃瓶里裝著像糖果的泡騰片”這種模糊目標(biāo)純檢測模型就失效了。我在這個項(xiàng)目里采用了視覺語言協(xié)同的方式。第一輪先用一個輕量級視覺編碼器提取桌面物品的區(qū)域特征不直接分類第二輪引入語言模型把“過期”“補(bǔ)充”“脆弱”“液體”這類任務(wù)相關(guān)詞轉(zhuǎn)成條件向量與區(qū)域特征做交互注意力第三輪再讓語言模型針對注意力得分高的區(qū)域做細(xì)粒度描述。最終準(zhǔn)確率比純檢測方案高了大約兩個數(shù)量級的維度提升更關(guān)鍵的是模型能解釋自己為什么覺得某個物品“需要補(bǔ)充”——是因?yàn)榘b破損、因?yàn)槭Ｓ嗔可?、還是因?yàn)楸Ｙ|(zhì)期臨近。這種可解釋性是智能體落地的關(guān)鍵前提沒有解釋能力用戶沒辦法信任機(jī)器人的自主判斷。我個人建議想入局多模態(tài)智能體方向的朋友先從這類“任務(wù)驅(qū)動的桌面感知”小場景開始別一上來就做全屋導(dǎo)航機(jī)器人。場景越小視覺信息的干擾越少跨模態(tài)協(xié)同的因果關(guān)系越容易驗(yàn)證。4.3 評測維度不能只盯著準(zhǔn)確率交流中一個很重要的提醒是多模態(tài)智能的評測體系單維化是很多人項(xiàng)目失敗的根本原因。今天行業(yè)里常見的評測方式是拿一個公開benchmark跑一下accuracy數(shù)據(jù)漲了兩個點(diǎn)就覺得模型進(jìn)步了。但即便是一個簡單的看圖問答任務(wù)也應(yīng)該至少從三個維度評價模型能力感知完備度圖中關(guān)鍵信息有沒有被捕獲、語言契合度回答是否與問題語義精準(zhǔn)對應(yīng)而不是字面相關(guān)、推理自洽度回答前后是否邏輯一致能不能支持追問。我在做智能體評測時還會額外加兩個維度抗干擾性和跨域遷移性?？垢蓴_性測試的是——當(dāng)畫面中加入無關(guān)物品、改變光照、部分遮擋時模型能否保持判斷穩(wěn)定跨域遷移性測試的是——模型在一個場景訓(xùn)練后直接部署到另一個不同布局的環(huán)境性能下降多少。這兩個維度在實(shí)際落地中比benchmark分?jǐn)?shù)重要得多因?yàn)檎鎸?shí)世界從來不會按照訓(xùn)練集的分布運(yùn)行。這里給出一個我在實(shí)踐中總結(jié)出來的評測模板適用于大多數(shù)視覺語言類智能應(yīng)用直接可以抄作業(yè)評測維度測試方法通過標(biāo)準(zhǔn)感知完備度隱藏圖中一個關(guān)鍵目標(biāo)再提問關(guān)鍵目標(biāo)被主動提及語言契合度針對同一圖提出5種不同角度的追問回答方向隨問題遷移推理自洽度連續(xù)追問因果鏈前后不矛盾、不確定時會承認(rèn)抗干擾性加入噪聲、遮擋、色彩偏移核心結(jié)論不漂移跨域遷移性在未見過的場景上直接測試性能下降小于20%這套模板真正用下來你會發(fā)現(xiàn)自己模型的短板往往不在“認(rèn)識的東西不夠多”而在“已知信息利用得不夠有效”。5. 常見誤區(qū)與踩坑實(shí)錄5.1 誤區(qū)一模態(tài)越多越好我在和好幾個團(tuán)隊(duì)溝通時發(fā)現(xiàn)一個普遍心態(tài)——既然視覺和語言融合能產(chǎn)生涌現(xiàn)效果那再加上音頻、觸覺、姿態(tài)模型是不是會更厲害表面看是這個道理但實(shí)際落地時每增加一個模態(tài)數(shù)據(jù)對齊的難度就會指數(shù)級上升。數(shù)據(jù)量不夠的情況下多模態(tài)模型很容易退化成“各模態(tài)各說各話”用一個強(qiáng)模態(tài)的輸出掩蓋其余弱模態(tài)的噪聲。Gestalt團(tuán)隊(duì)在交流中也強(qiáng)調(diào)了同一件事模態(tài)之間的對齊質(zhì)量遠(yuǎn)比模態(tài)的數(shù)量重要。一種有效做法是先在一個強(qiáng)模態(tài)對上做扎實(shí)的結(jié)構(gòu)對齊比如視覺語言等這套機(jī)制穩(wěn)定了再逐步把其他模態(tài)映射到已有的聯(lián)合語義空間里。從零開始同時融合四五個模態(tài)的項(xiàng)目我?guī)缀鯖]見過能在一年內(nèi)跑出可用結(jié)果的。5.2 誤區(qū)二把“文字理解”當(dāng)成“視覺理解”這個誤區(qū)非常隱蔽。很多多模態(tài)模型的視覺端其實(shí)只是個“忠實(shí)截圖工具”真正回答問題時靠的是語言模型從已有知識中編造答案。測試方式很簡單你給模型一張與問題毫無關(guān)系的圖片作為干擾項(xiàng)如果模型依然能給出與問題相關(guān)的合理解答說明它本質(zhì)上在用單模態(tài)語言能力解題根本沒看圖片。這種模型在演示環(huán)境里看著很聰明但一上真實(shí)場景就露餡——真實(shí)場景里圖片信息往往是唯一的信息源模型一旦不依賴視覺輸入就意味著它的視覺能力形同虛設(shè)。我在驗(yàn)收供應(yīng)商模型時一定會做這個“無關(guān)圖干擾測試”十個模型里至少有六個會翻車。想判斷一個模型是不是真的“多模態(tài)”這個測試值得作為第一道關(guān)卡。5.3 避坑技巧數(shù)據(jù)標(biāo)簽的粒度決定模型上限在做視覺語言模型訓(xùn)練時我踩過最慘的一個坑是標(biāo)簽粒度過粗。你給一張“廚房”的圖打上“廚房”的標(biāo)簽?zāi)Ｐ痛_實(shí)能學(xué)會分類但它在“描述廚房里的活動”“推斷可能發(fā)生的事件”“判斷哪個區(qū)域最危險”這些任務(wù)上依然會失敗。原因很簡單——粗粒度標(biāo)簽丟失了關(guān)系信息。想引導(dǎo)模型產(chǎn)生信息涌現(xiàn)數(shù)據(jù)標(biāo)簽必須包含三層實(shí)體層有什么、關(guān)系層彼此之間是什么關(guān)系、事件層這些關(guān)系和實(shí)體組合起來可能引發(fā)什么。Gestalt團(tuán)隊(duì)提到的“場景圖標(biāo)注”方法值得借鑒它把圖片內(nèi)容表示成“實(shí)體—關(guān)系—實(shí)體”的三元組結(jié)構(gòu)。比如“男人—推—嬰兒車”“嬰兒車—位于—馬路”“男人—穿著—正裝”這種結(jié)構(gòu)化標(biāo)注為模型提供了關(guān)系推理的直接監(jiān)督信號。我在一個電商場景項(xiàng)目中嘗試過這種標(biāo)簽策略讓標(biāo)注員不僅標(biāo)注商品類別還標(biāo)注“商品—使用場景”“商品—人群”“商品—搭配對象”等關(guān)系三元組。訓(xùn)練出來的模型在導(dǎo)購問答中的表現(xiàn)比只標(biāo)類目的模型高出一大截而且回答的自然度和可解釋性完全是兩個量級。5.4 一個容易被忽略的問題編程實(shí)現(xiàn)的坑最后從工程層面補(bǔ)一個很實(shí)際的坑。視覺特征與文本特征融合時最容易出的問題是維度不匹配和歸一化方式不一致。我見過好幾個項(xiàng)目視覺特征用的是L2歸一化文本特征用的是LayerNorm之后的結(jié)果直接拼接送給下游分類器結(jié)果訓(xùn)練時loss波動劇烈怎么調(diào)學(xué)習(xí)率都不收斂。正確的做法是把兩個模態(tài)的特征先各自歸一化到同一個分布的范圍內(nèi)然后通過一個可學(xué)習(xí)的線性投影層映射到相同的共享空間再在共享空間內(nèi)做融合。融合方式上簡單的拼接往往不如交叉注意力有效因?yàn)槠唇颖Ａ舻娜允莾蓚€獨(dú)立信息流而交叉注意力才能讓信息真正流動起來。自己寫模型時直接先固定圖像編碼器和文本編碼器只訓(xùn)練融合層這樣既能加快收斂速度也能比較清晰地看出融合層的真實(shí)效果。6. 從研究到產(chǎn)品多模態(tài)智能能給普通開發(fā)者帶來什么6.1 降低門檻現(xiàn)成模型與工具鏈的選擇一個好消息是現(xiàn)在做視覺語言的研究和產(chǎn)品開發(fā)不必像幾年之前那樣從零訓(xùn)練模型。公開可用的多模態(tài)基礎(chǔ)模型已經(jīng)具備不錯的感知和推理底子普通開發(fā)者需要做的更多是如何針對場景做微調(diào)和評測。我在選擇基礎(chǔ)模型時有一個實(shí)用標(biāo)準(zhǔn)不要只看榜單分?jǐn)?shù)而是跑一組自定義測試集這個測試集必須貼合你的真實(shí)產(chǎn)品場景。具體來說從你的場景中找一百張典型圖片配五十個你們業(yè)務(wù)里最可能被問到的各類問題手工標(biāo)注好標(biāo)準(zhǔn)答案然后讓候選模型跑一遍人工審查輸出質(zhì)量。這比任何公開benchmark都更有參考意義因?yàn)楣_榜單純拼的是通用知識而產(chǎn)品需要的是場景適配度。6.2 AI智能體產(chǎn)品設(shè)計中的多模態(tài)思維如果一個普通開發(fā)者想從零開始做一個AI智能體產(chǎn)品我的建議是先別急著調(diào)接口先把產(chǎn)品里的“信息流”畫清楚。用戶會輸入什么模態(tài)的信息文字、圖片、語音系統(tǒng)需要從中抽取哪些關(guān)鍵信息這些信息之間有什么關(guān)系哪些信息需要跨模態(tài)補(bǔ)充才能獲得這個思考過程的價值比任何模型選型都大。舉個例子我設(shè)計過一個“舊物回收估價助手”用戶拍照上傳閑置物品助手估算價格并推薦回收渠道。信息流是這樣的視覺信息提供物品品類、外觀完整度、成色判斷語言信息提供用戶輸入的物品品牌、來源渠道、使用年限跨模態(tài)補(bǔ)充的是品類與成色結(jié)合后的市場估價區(qū)間。只有當(dāng)視覺和語言信息真正融合時估價結(jié)果才靠譜——只靠照片會忽略用戶提供的關(guān)鍵背景只靠文字描述會缺失最直觀的外觀判斷依據(jù)。這種“信息流設(shè)計”思維是我從Gestalt團(tuán)隊(duì)分享中最受啟發(fā)的一點(diǎn)。多模態(tài)智能不是簡單的模型拼接它首先是一種產(chǎn)品設(shè)計思想——你想讓你的產(chǎn)品從多模態(tài)輸入中挖掘什么層次的語義信息決定了你要建設(shè)什么樣的模型能力。6.3 未來擴(kuò)展邁向真正的信息涌現(xiàn)系統(tǒng)關(guān)于未來我個人的判斷是接下來的三五年多模態(tài)智能研究會從“怎么對齊模態(tài)”逐步轉(zhuǎn)向“怎么設(shè)計信息交互的結(jié)構(gòu)”。單純擴(kuò)大模型參數(shù)或訓(xùn)練數(shù)據(jù)規(guī)模的路徑已經(jīng)顯露疲態(tài)真正的突破點(diǎn)將出現(xiàn)在新的融合架構(gòu)上——比如跨模態(tài)的記憶機(jī)制、動態(tài)模態(tài)權(quán)重調(diào)度、以及從感知到規(guī)劃的閉環(huán)反饋。在這個方向上普通開發(fā)者能做的事情反而很多你在真實(shí)場景中積累的數(shù)據(jù)、踩過的坑、發(fā)現(xiàn)的評測盲區(qū)都會成為推動技術(shù)演進(jìn)的重要拼圖。學(xué)術(shù)團(tuán)隊(duì)產(chǎn)出的概念框架往往需要一線實(shí)踐者的驗(yàn)證、修正和細(xì)化才能真正變成可靠的生產(chǎn)工具。這次和人大高瓴Gestalt團(tuán)隊(duì)的交流給我的直接收獲是做多模態(tài)智能不要急著堆數(shù)據(jù)、堆參數(shù)先想清楚你的信息結(jié)構(gòu)是什么、想讓什么層面的信息涌現(xiàn)出來、如何評測這種涌現(xiàn)是否真的發(fā)生了。把這些想清楚了后面的技術(shù)選型和系統(tǒng)設(shè)計都會自然展開。