最近在幾個(gè)技術(shù)社群里都有人把 hyperframes 這個(gè)詞單獨(dú)甩出來問。它沒有像 Stable Diffusion 那樣自帶熱度但你只要順著這個(gè)關(guān)鍵詞往下翻就會(huì)撞見一個(gè)很有意思的 Python 框架專門用來實(shí)現(xiàn)主動(dòng)推斷Active Inference智能體的開源項(xiàng)目。簡(jiǎn)單說它能讓你用幾行代碼搭出一個(gè)會(huì)感知、會(huì)推理、會(huì)行動(dòng)的貝葉斯智能體而且這個(gè)智能體不是靠獎(jiǎng)勵(lì)函數(shù)逼出來的是靠自己內(nèi)部那個(gè)世界模型驅(qū)動(dòng)行為的。我大概花了兩周時(shí)間把這個(gè)框架從安裝、拆模塊、跑通網(wǎng)格世界到最后調(diào)參從頭過了一遍中間踩了不少坑。這篇文章相當(dāng)于一份完整的實(shí)操筆記適合三類人看一是做強(qiáng)化學(xué)習(xí)想換個(gè)思路的朋友二是對(duì)自由能原理、主動(dòng)推斷只聽過名詞想看看代碼長(zhǎng)什么樣的同學(xué)三是想在自己的仿真環(huán)境里塞一個(gè)目標(biāo)導(dǎo)向智能體但沒有頭緒的開發(fā)者。我會(huì)盡量把原理講成人話把步驟寫到手能跟著敲的程度。1. hyperframes 到底是什么先把它從抽象名詞里拽出來1.1 名字拆開看項(xiàng)目定位就清楚了一半hyperframes 拆開是兩個(gè)詞hyper 和 frames。frames 直譯是幀但它指的不是視頻幀而是智能體對(duì)世界狀態(tài)的一幀一幀的信念快照——也就是在每個(gè)時(shí)刻智能體腦子里關(guān)于我現(xiàn)在可能在哪、世界可能處于什么狀態(tài)的概率分布。hyper 在這里表達(dá)的是比普通幀更高一層因?yàn)檫@套框架構(gòu)建的不僅是環(huán)境里的狀態(tài)轉(zhuǎn)移而是把感知、行動(dòng)、內(nèi)部狀態(tài)全部框在一個(gè)生成模型里所以叫 hyperframes。它的核心目標(biāo)很純粹把主動(dòng)推斷這個(gè)理論框架工程化。主動(dòng)推斷來自自由能原理Karl Friston 提的那套大腦就是一臺(tái)最小化自由能的機(jī)器的理論。hyperframes 把這套理論做成了 Python 庫(kù)你只需要定義世界長(zhǎng)什么樣環(huán)境、智能體怎么感知觀測(cè)模型、怎么行動(dòng)轉(zhuǎn)移模型、以及它喜歡什么偏好先驗(yàn)剩下的變分推斷和行動(dòng)選擇框架幫你算。我會(huì)用我實(shí)際使用的版本來描述 API不同小版本的模塊命名和參數(shù)可能有出入但核心思路是通用的你裝到自己機(jī)器上如果發(fā)現(xiàn)類名不一樣照著這個(gè)邏輯找也能找到。1.2 主動(dòng)推斷的三句話白話版本想用好這個(gè)框架最好先理解主動(dòng)推斷在干嘛。我嘗試過用很多方式給別人講這個(gè)概念最后發(fā)現(xiàn)三句話最有效第一句智能體腦子里的世界模型本質(zhì)上是一堆概率表它通過感知不斷修正自己對(duì)這些概率的信念。第二句修正的方式是讓預(yù)測(cè)和觀測(cè)之間的差距最小化這個(gè)差距就是變分自由能。第三句行動(dòng)不是隨機(jī)試錯(cuò)而是選擇那個(gè)能帶來最大信息增益偏好滿足的動(dòng)作。舉個(gè)例子。你閉著眼睛走進(jìn)廚房腦子里有個(gè)先驗(yàn)冰箱在左前方。你睜開眼掃了一下發(fā)現(xiàn)眼前是餐桌而不是冰箱這個(gè)觀測(cè)和預(yù)測(cè)不匹配你會(huì)瞬間更新信念我可能走錯(cuò)方向了。這是感知層的自由能最小化。然后你需要在繼續(xù)睜眼觀察和轉(zhuǎn)身摸索之間選一個(gè)動(dòng)作你更傾向于選一個(gè)既能獲得新信息又能接近目標(biāo)的行為——這就是預(yù)期自由能Expected Free Energy驅(qū)動(dòng)的行動(dòng)選擇。hyperframes 做的事情就是把上面這套過程拆成模塊變成一組可組合的類和矩陣。你不需要手寫變分推斷的梯度推導(dǎo)但你需要搞清楚每個(gè)矩陣到底是什么含義否則調(diào)試起來會(huì)很痛苦。1.3 和強(qiáng)化學(xué)習(xí)有什么本質(zhì)區(qū)別很多第一次接觸這個(gè)框架的人都會(huì)問這不就是換個(gè)殼的強(qiáng)化學(xué)習(xí)嗎我用一個(gè)表格直觀說明兩者的差別這也是我當(dāng)初決定深入研究它最重要的原因。維度傳統(tǒng)強(qiáng)化學(xué)習(xí)主動(dòng)推斷/hyperframes目標(biāo)來源外部給定的獎(jiǎng)勵(lì)函數(shù)智能體內(nèi)部的偏好先驗(yàn)行為驅(qū)動(dòng)最大化累積獎(jiǎng)勵(lì)最小化預(yù)期自由能探索機(jī)制顯式加入熵獎(jiǎng)勵(lì)或隨機(jī)策略自動(dòng)產(chǎn)生信息增益驅(qū)動(dòng)對(duì)環(huán)境假設(shè)通常假設(shè)模型已知或從零學(xué)需要定義生成模型不確定性處理部分方法支持天然以概率方式表達(dá)調(diào)試觀察點(diǎn)reward 曲線自由能曲線、信念熵不是說誰替代誰而是兩者解決問題的姿勢(shì)完全不同。RL 是做得多了就知道什么好主動(dòng)推斷是我對(duì)世界有個(gè)假設(shè)我通過行動(dòng)驗(yàn)證并滿足它。hyperframes 讓你用后一種思路快速做實(shí)驗(yàn)而且因?yàn)樗袪顟B(tài)都是概率性的你隨時(shí)能畫出智能體的內(nèi)心活動(dòng)這在教學(xué)和科研里非常有價(jià)值。2. 安裝、依賴與核心模塊拆解2.1 安裝這件事比想象中省心hyperframes 是一個(gè)純 Python 項(xiàng)目依賴主要是 numpy、matplotlib部分環(huán)境模塊會(huì)用上 gym 的接口規(guī)范。安裝直接走 pip 就行pip install hyperframes如果你是在 conda 環(huán)境里做實(shí)驗(yàn)建議先建一個(gè)干凈環(huán)境再裝避免和項(xiàng)目里其他庫(kù)的 numpy 版本打架。裝完驗(yàn)證一下import hyperframes print(hyperframes.__version__)能輸出版本號(hào)就說明基礎(chǔ)環(huán)境沒問題。我第一遍裝的時(shí)候沒注意網(wǎng)絡(luò)源走了默認(rèn) PyPI 也很順利這個(gè)項(xiàng)目沒有特別冷門的依賴這點(diǎn)對(duì)新手非常友好。2.2 四大核心模塊分別管什么進(jìn)入正題前先把這個(gè)庫(kù)的模塊地圖畫出來后面實(shí)操時(shí)你就知道自己在哪一層environment定義智能體所處的世界。最常用的是 GridWorld一個(gè)二維網(wǎng)格環(huán)境可以設(shè)置起點(diǎn)、目標(biāo)、障礙物。它的作用是提供真實(shí)的轉(zhuǎn)移規(guī)則和觀測(cè)生成規(guī)則。models生成模型的核心。這里定義似然矩陣 A、轉(zhuǎn)移矩陣 B、偏好先驗(yàn) C、初始狀態(tài)分布 D。主動(dòng)推斷里的世界模型就是這幾張概率表。agents智能體本體。它負(fù)責(zé)在每一個(gè)時(shí)刻執(zhí)行感知→推斷→行動(dòng)的循環(huán)內(nèi)部封裝了變分自由能的計(jì)算和預(yù)期自由能下的策略選擇。utils輔助工具主要是可視化?？梢援嫵鲂拍顭崃D、自由能變化曲線、智能體路徑軌跡。剛接觸時(shí)最容易犯的錯(cuò)誤是把 environment 和 model 混在一起。我一開始就以為環(huán)境自帶模型結(jié)果 debug 了半天才發(fā)現(xiàn)環(huán)境只負(fù)責(zé)真實(shí)世界怎么走模型是智能體腦子里對(duì)這個(gè)世界的主觀假設(shè)——兩者可以一致也可以故意設(shè)置成不一致比如傳感器有噪聲這種不一致恰恰是研究的樂趣所在。2.3 生成模型的四件套 A/B/C/D一個(gè)都不能少主動(dòng)推斷的生成模型通常寫作P(o, s, a) P(s0) · Π P(st | st-1, at-1) · P(ot | st)對(duì)應(yīng)到代碼里就是四張表A 矩陣似然P(觀測(cè) | 狀態(tài))。比如在格子 12 這個(gè)位置看到我在格子 12這個(gè)觀測(cè)的概率是 0.9。它描述的是智能體的傳感器模型。B 矩陣轉(zhuǎn)移P(狀態(tài) | 狀態(tài), 動(dòng)作)。比如執(zhí)行向上動(dòng)作后從格子 12 走到格子 7 的概率是 1.0。它描述的是智能體對(duì)動(dòng)作后果的預(yù)期。C 向量偏好先驗(yàn)P(觀測(cè))_prior。它不是觀測(cè)到的概率而是智能體希望看到的觀測(cè)分布。比如希望最終觀測(cè)到到達(dá)目標(biāo)就在對(duì)應(yīng)位置設(shè)高值。D 向量初始狀態(tài)先驗(yàn)P(s0)。智能體一開始認(rèn)為自己在哪里。在實(shí)際代碼里A、B 通常是二維或三維矩陣C、D 是一維向量。理解它們最簡(jiǎn)單的方法是直接打印出來看 shapeA 是 (觀測(cè)數(shù), 狀態(tài)數(shù))B 是 (狀態(tài)數(shù), 狀態(tài)數(shù), 動(dòng)作數(shù))C 是 (觀測(cè)數(shù),)D 是 (狀態(tài)數(shù),)。把這些 shape 記在腦子里比背概念管用得多。我還想多說一句 C 矩陣。它是整個(gè)框架里最反直覺的部分因?yàn)閭鹘y(tǒng)程序員習(xí)慣把目標(biāo)寫成 if 條件或 reward 數(shù)值而這里的目標(biāo)是一整條概率分布。你給 C 設(shè)一個(gè)尖銳的峰值智能體就會(huì)急迫地沖向目標(biāo)設(shè)一個(gè)平緩的分布智能體就會(huì)表現(xiàn)得無所謂到處閑逛。這個(gè)性質(zhì)在后面調(diào)參時(shí)會(huì)反復(fù)用到。3. 第一個(gè)網(wǎng)格世界智能體從零到會(huì)走路的完整實(shí)操3.1 場(chǎng)景設(shè)定一個(gè) 5×5 的迷你世界我們做一個(gè)最簡(jiǎn)單的場(chǎng)景一個(gè) 5×5 的網(wǎng)格智能體從左上角 (0, 0) 出發(fā)目標(biāo)在右下角 (4, 4)。沒有障礙物智能體只有四個(gè)動(dòng)作上、下、左、右。它的傳感器是理想的也就是說它能準(zhǔn)確知道自己當(dāng)前在哪個(gè)格子。這個(gè)場(chǎng)景簡(jiǎn)單到有點(diǎn)無聊但它足夠把框架的主干流程走一遍而且方便畫出信念熱力圖觀察智能體的內(nèi)心活動(dòng)。等你跑通這一個(gè)后面換地圖、加障礙、加噪聲都是改參數(shù)的事。3.2 代碼實(shí)現(xiàn)核心邏輯逐行解讀下面是我實(shí)際跑通過的代碼我會(huì)在關(guān)鍵行后面標(biāo)注它的作用import numpy as np from hyperframes.environment import GridWorld from hyperframes.model import GenerativeModel from hyperframes.agent import ActiveInferenceAgent from hyperframes.utils import plot_belief_map, plot_free_energy # 1. 創(chuàng)建環(huán)境 env GridWorld( width5, height5, start(0, 0), goal(4, 4), ) # 2. 創(chuàng)建生成模型 # 狀態(tài)數(shù)25格子總數(shù)觀測(cè)數(shù)25每個(gè)位置一個(gè)觀測(cè)動(dòng)作數(shù)4 model GenerativeModel( n_states25, n_observations25, n_actions4, ) # 3. 關(guān)鍵一步初始化 A/B/D 這三張表 # 這里為了讓智能體看得準(zhǔn)、走得對(duì)直接用環(huán)境的真實(shí)規(guī)則來初始化 model.A env.get_likelihood_matrix() # 理想傳感器觀測(cè)位置 model.B env.get_transition_matrix() # 確定性轉(zhuǎn)移執(zhí)行動(dòng)作即移動(dòng) model.D np.zeros(25) model.D[0] 1.0 # 初始信念確定自己起點(diǎn)在 0 # 4. 設(shè)置偏好先驗(yàn) C只有目標(biāo)位置的觀測(cè)是想要的 model.C np.zeros(25) model.C[24] 10.0 # 格 24 對(duì)應(yīng)右下角 (4,4) # 5. 創(chuàng)建智能體 agent ActiveInferenceAgent( modelmodel, action_selectionexpected_free_energy, ) # 6. 執(zhí)行感知-行動(dòng)循環(huán) for step in range(200): agent.step() current_position env.get_position() if current_position (4, 4): print(fArrived at goal in {step 1} steps) break # 每 10 步打印一次自由能觀察收斂情況 if step % 10 0: print(fStep {step}: free_energy {agent.vfe:.4f})這里有個(gè)很容易踩的坑model并不感知環(huán)境。你必須手動(dòng)把環(huán)境提供的轉(zhuǎn)移概率和似然概率填進(jìn)model的 A、B 矩陣?yán)?。如果你忘了初始?A 矩陣智能體就等于沒有眼睛它的信念更新完全是亂的表現(xiàn)出來就是原地轉(zhuǎn)圈或者亂跑。另一個(gè)經(jīng)驗(yàn)是action_selection參數(shù)?？蚣芤话銜?huì)給幾個(gè)選項(xiàng)比如expected_free_energy、random、greedy。我強(qiáng)烈建議第一次跑用expected_free_energy因?yàn)檫@是主動(dòng)推斷的精髓所在——智能體會(huì)自動(dòng)在去目標(biāo)和探索未知之間權(quán)衡。用random你會(huì)看到它像無頭蒼蠅用greedy你會(huì)發(fā)現(xiàn)它一旦信念不確定就完全不知道怎么辦。3.3 運(yùn)行結(jié)果與信念可視化看穿智能體的內(nèi)心戲我實(shí)際跑下來這個(gè) 5×5 場(chǎng)景大概在 20 到 40 步之間到達(dá)目標(biāo)。步數(shù)比最短路徑長(zhǎng)因?yàn)橹悄荏w初期會(huì)主動(dòng)探索一些不必要的位置這是預(yù)期自由能驅(qū)動(dòng)的正常行為不是 bug。真正讓我覺得這個(gè)框架值回票價(jià)的是可視化。framework 提供的繪圖工具可以畫出每一步智能體的信念熱力圖也就是它對(duì)自己在哪里的概率分布。你會(huì)看到非常直觀的過程初期信念分布是一團(tuán)模糊的云隨著感知不斷修正云逐漸收縮、清晰最終收斂到真實(shí)位置。Step 0: 信念集中在起點(diǎn)分布非常尖銳 Step 5: 信念開始彌散說明智能體對(duì)位置產(chǎn)生了不確定性 Step 12: 出現(xiàn)兩個(gè)高概率峰表示智能體正在兩個(gè)可能位置之間猶豫 Step 20: 云團(tuán)重新收斂智能體確認(rèn)了自己到了目標(biāo)附近這種信念云的演化過程就是主動(dòng)推斷和傳統(tǒng) RL 最視覺化的區(qū)別。傳統(tǒng) RL 你只能看到 agent 的位置軌跡而這里能看到 agent 每一時(shí)刻的認(rèn)知狀態(tài)。做機(jī)器人調(diào)試的時(shí)候這種可視化能幫你快速定位問題是出在感知、模型還是行動(dòng)策略上不用全靠猜。3.4 參數(shù)調(diào)優(yōu)體驗(yàn)派的三個(gè)實(shí)用技巧跑通之后你一定會(huì)忍不住調(diào)參數(shù)。我自己試下來有三個(gè)參數(shù)最影響行為表現(xiàn)第一個(gè)是偏好先驗(yàn) C 的強(qiáng)度。C 里的數(shù)值大小不是線性地決定目標(biāo)有多重要而是經(jīng)過 softmax 歸一化后變成偏好分布。我試過把 C[24] 從 10 調(diào)到 1智能體立刻變得懶散經(jīng)常在半路閑逛調(diào)到 100 則變得非常激進(jìn)甚至?xí)驗(yàn)檫^度偏向目標(biāo)而放棄對(duì)不確定區(qū)域的探索。一般建議起始值設(shè)在 5 到 20 之間然后根據(jù)行為微調(diào)。第二個(gè)是模型更新步長(zhǎng)。主動(dòng)推斷的信念更新本質(zhì)上是變分推斷通常有l(wèi)earning_rate或step_size參數(shù)。我踩過的坑是把它設(shè)得太大比如 0.8導(dǎo)致信念在兩個(gè)狀態(tài)之間反復(fù)震蕩智能體表現(xiàn)為抽搐式移動(dòng)。0.1 到 0.3 是比較穩(wěn)的范圍。第三個(gè)是動(dòng)作選擇策略的溫度參數(shù)。有些版本的預(yù)期自由能計(jì)算會(huì)帶一個(gè)溫度項(xiàng)控制探索隨機(jī)性。溫度高智能體更像好奇心強(qiáng)的孩子溫度低更像功利心強(qiáng)的成人。我的建議是在仿真環(huán)境里先調(diào)高溫度觀察探索行為理解清楚后再逐步降低到任務(wù)要求的工作狀態(tài)。4. 常見問題與排查技巧實(shí)錄4.1 概率矩陣出現(xiàn) 0訓(xùn)練直接 NaN這是我遇到的第一個(gè)大坑也是新手最容易踩的。原因很簡(jiǎn)單變分自由能的計(jì)算里有對(duì)數(shù)項(xiàng)對(duì)概率矩陣做 log 時(shí)如果某個(gè)元素恰好是 0log(0)直接給你一個(gè)-inf后面幾步整個(gè)數(shù)值就崩了。兩種解決辦法。第一初始化概率矩陣時(shí)不要用硬 0/1而是用接近 0 的小數(shù)比如 1e-8。第二在計(jì)算自由能時(shí)對(duì)概率矩陣做 clip比如np.clip(p, 1e-8, 1.0)。我兩種都用了雙保險(xiǎn)。排查這個(gè)問題的技巧是不用看完整報(bào)錯(cuò)直接打印第一個(gè)nan出現(xiàn)時(shí)的 A 矩陣行基本一抓一個(gè)準(zhǔn)。4.2 智能體躺平不動(dòng)或者只在一個(gè)小范圍轉(zhuǎn)圈這個(gè)現(xiàn)象排查起來很有意思。首先檢查 C 矩陣有沒有真的設(shè)置好很多版本里 C 的默認(rèn)值是全 0 向量全 0 意味著對(duì)所有觀測(cè)無偏好智能體會(huì)覺得去哪都一樣于是沒有動(dòng)機(jī)行動(dòng)。其次檢查 B 矩陣。如果轉(zhuǎn)移矩陣沒有正確建模智能體會(huì)認(rèn)為執(zhí)行動(dòng)作也不會(huì)改變狀態(tài)行動(dòng)自然失去意義。我后來做了一個(gè)測(cè)試讓智能體先把環(huán)境走一圈然后對(duì)比它的 B 矩陣和真實(shí)轉(zhuǎn)移規(guī)則發(fā)現(xiàn)差在一個(gè)維度的順序上修好后就恢復(fù)正常了。還有一個(gè)容易被忽略的點(diǎn)動(dòng)作循環(huán)里有沒有真正讓環(huán)境執(zhí)行動(dòng)作。有些框架接口里agent.step()只更新信念不會(huì)自動(dòng)推進(jìn)環(huán)境你需要另外調(diào)用env.step(action)。如果你只寫了 agent 循環(huán)而沒推進(jìn)環(huán)境智能體就會(huì)在一個(gè)狀態(tài)里瘋狂自我更新表現(xiàn)為原地打轉(zhuǎn)但自由能越來越低——因?yàn)樗呀?jīng)說服了自己沒有移動(dòng)。4.3 多智能體場(chǎng)景集體發(fā)呆還是各想各的hyperframes 的設(shè)計(jì)目標(biāo)之一是支持多智能體。我看過不少圍繞這個(gè)框架的多智能體實(shí)驗(yàn)自己在跑的時(shí)候發(fā)現(xiàn)最典型的問題是多個(gè)智能體共享同一個(gè)偏好先驗(yàn)時(shí)它們可能全部涌向同一個(gè)目標(biāo)導(dǎo)致互相阻塞而如果每個(gè)智能體偏好不同它們又可能完全無視彼此。排查思路是先確認(rèn)每個(gè)智能體是否真的持有獨(dú)立的生成模型。在框架里兩個(gè)智能體即使生活在同一個(gè)環(huán)境里它們的 A/B/C/D 也應(yīng)該是各自獨(dú)立的矩陣實(shí)例。如果你不小心讓它們共享了同一個(gè) model 對(duì)象那它們的內(nèi)心里其實(shí)是同一個(gè)人行為自然沒有多樣性。調(diào)試多智能體的一個(gè)好習(xí)慣是給每個(gè)智能體單獨(dú)打印其信念熵和自由能曲線。我見過一個(gè)案例兩個(gè)智能體表面上有協(xié)作行為實(shí)際是其中一個(gè)的信念完全覆蓋了另一個(gè)導(dǎo)致另一個(gè)變成傀儡。這種耦合問題只有分開看數(shù)據(jù)才能發(fā)現(xiàn)。4.4 我的調(diào)試工具箱自由能曲線和信念熵是核心儀表盤跑這個(gè)框架最忌諱只看有沒有到達(dá)目標(biāo)這一個(gè)指標(biāo)。我推薦一套固定組合一是自由能曲線。理想情況下每一步感知之后變分自由能應(yīng)該總體下降呈現(xiàn)階梯狀——每次觀測(cè)后突然下降然后行動(dòng)后略有回升。如果自由能一直居高不下說明模型和真實(shí)環(huán)境嚴(yán)重不匹配如果一直單調(diào)下降而沒有觀測(cè)導(dǎo)致的跳躍說明智能體可能在自欺欺人模型太簡(jiǎn)單擬合了錯(cuò)誤假設(shè)。二是信念熵。信念熵衡量智能體對(duì)當(dāng)前狀態(tài)的確信程度。初期熵高是健康的但如果到了后期還降不下來說明傳感器信息不足需要檢查 A 矩陣的設(shè)計(jì)或者增加更多觀測(cè)特征。三是路徑回放。把所有位置按時(shí)間順序畫出軌跡配合信念熱力圖一起看能定位出哪一步?jīng)Q策是受偏見影響而非信息驅(qū)動(dòng)的。這套組合拳幫我把網(wǎng)格世界的調(diào)試時(shí)間縮短了一半以上。5. 從玩具到實(shí)戰(zhàn)hyperframes 還能往哪些方向擴(kuò)展5.1 多智能體協(xié)作與競(jìng)爭(zhēng)下一個(gè)天然實(shí)驗(yàn)場(chǎng)如果你對(duì)多智能體感興趣hyperframes 是一個(gè)相當(dāng)舒適的起點(diǎn)。因?yàn)槊總€(gè)智能體本質(zhì)上是獨(dú)立的馬爾可夫毯Markov Blanket它們之間天然存在嵌套關(guān)系這正好對(duì)應(yīng)自由能原理里對(duì)我與環(huán)境的定義。我試過一個(gè)簡(jiǎn)單的雙智能體場(chǎng)景兩個(gè)智能體各自從不同起點(diǎn)出發(fā)目標(biāo)是到同一個(gè)能量站。有趣的是如果給它們加入觀測(cè)到對(duì)方位置的傳感器它們的行為會(huì)發(fā)生明顯變化一個(gè)智能體會(huì)主動(dòng)讓開路徑另一個(gè)則會(huì)利用對(duì)方的位置信息修正自己的路徑規(guī)劃。這種涌現(xiàn)出來的交互比手寫規(guī)則自然很多。做這類實(shí)驗(yàn)時(shí)我強(qiáng)烈建議一開始不要給智能體太多觀測(cè)通道只讓它們感知自己和目標(biāo)再逐步加入感知對(duì)方的通道否則你很難判斷行為變化到底來自哪個(gè)因素。5.2 從離散到連續(xù)讓生成模型更有表現(xiàn)力默認(rèn)的 hyperframes 是離散狀態(tài)、離散觀測(cè)適合網(wǎng)格世界。如果你想把它用在更接近現(xiàn)實(shí)的問題上思路是讓 A、B 矩陣不再手工指定而是用函數(shù)近似器來生成。簡(jiǎn)單說就是用神經(jīng)網(wǎng)絡(luò)替代概率表輸入是狀態(tài)特征輸出是概率分布參數(shù)。我自己在做一個(gè)連續(xù)版的小實(shí)驗(yàn)把狀態(tài)定義為二維坐標(biāo)用高斯分布描述信念A(yù) 矩陣變成一個(gè)帶噪聲的觀測(cè)函數(shù)B 矩陣變成一個(gè)小型動(dòng)力學(xué)模型。這樣改造之后智能體就能在更平滑的地形上移動(dòng)。這個(gè)方向的坑是數(shù)值穩(wěn)定性連續(xù)狀態(tài)下的高斯信念更新容易發(fā)散需要控制好噪聲協(xié)方差矩陣的更新步長(zhǎng)。但這種改造極具價(jià)值。一旦你理解了 hyperframes 的模塊邊界在哪里、哪一部分能自由替換這個(gè)工具就從一個(gè)玩具變成了一個(gè)通用智能體實(shí)驗(yàn)平臺(tái)。5.3 應(yīng)用場(chǎng)景腦洞從機(jī)器人到推薦系統(tǒng)從 hyperframes 的角度去看現(xiàn)實(shí)問題你會(huì)發(fā)現(xiàn)很多目標(biāo)驅(qū)動(dòng)決策的問題都能套進(jìn)這個(gè)框架。機(jī)器人導(dǎo)航是最直接的場(chǎng)景狀態(tài)是機(jī)器人位姿觀測(cè)是傳感器讀數(shù)偏好先驗(yàn)是到達(dá)目標(biāo)點(diǎn)且電量充足行動(dòng)是電機(jī)輸出。推薦系統(tǒng)也可以這樣建模狀態(tài)是用戶興趣分布觀測(cè)是點(diǎn)擊行為偏好先驗(yàn)是用戶滿意度高行動(dòng)是推薦哪類物品。甚至游戲 NPC 的行為控制也可以這么做給 NPC 一個(gè)想要探索地圖的偏好先驗(yàn)它會(huì)自己生成有趣的探索路徑而不是按照腳本走固定路線。我目前在這個(gè)框架上投入最大的方向是機(jī)器人的目標(biāo)導(dǎo)向行為。它的優(yōu)勢(shì)在于當(dāng)傳感器噪聲或環(huán)境變化導(dǎo)致不確定性升高時(shí)智能體會(huì)自然地表現(xiàn)出探索和避險(xiǎn)行為這在傳統(tǒng)控制代碼里往往需要寫一堆 if-else 才能模擬出來。我個(gè)人實(shí)際用下來的體會(huì)是hyperframes 最大的價(jià)值不是某個(gè)算法有多強(qiáng)而是它把自由能原理這個(gè)大詞變成了可以親手?jǐn)[弄的模塊。你調(diào) C 矩陣時(shí)能直觀感受到目標(biāo)感是如何塑造行為的你畫信念熱力圖時(shí)能看到一個(gè)概率分布如何像呼吸一樣收縮、彌散、再收縮。這份直觀感是啃多少篇論文都換不來的。所以如果你也對(duì)這個(gè)方向好奇我的建議很簡(jiǎn)單別先去啃理論先找一個(gè) 5×5 的網(wǎng)格世界跑起來。把 A、B、C、D 這四張表都打印出來看一遍把自由能曲線畫出來然后試著改改 C 矩陣的強(qiáng)度你會(huì)很快理解這個(gè)框架吸引人的地方在哪。最后再分享一個(gè)小技巧跑通之后下一個(gè)實(shí)驗(yàn)別急著加大地圖試著在環(huán)境里加一個(gè)很小的傳感器噪聲比如觀測(cè)有 10% 概率報(bào)錯(cuò)。你會(huì)看到智能體從自信地沖變成謹(jǐn)慎地試探這是理解不確定性下如何行動(dòng)最好的入門課。