的元探索困境——讀馬里蘭大學(xué)鄭童NICE學(xué)術(shù)前沿分享)
NICE學(xué)術(shù) · 前沿對話 | 演講人鄭童馬里蘭大學(xué)帕克分校博士生、Dream-RSI 第一作者 | 議題Dream-RSI讓智能體通過“做夢”實現(xiàn)遞歸自我改進(jìn)核心洞察長程自主智能體實現(xiàn)遞歸自我改進(jìn)RSI的最大死穴從來不是底座模型“寫不出代碼”而是元搜索層面的“探索策略優(yōu)化極度昂貴”。傳統(tǒng)方法在線調(diào)整搜索策略需等待數(shù)千次昂貴的生成與代碼真實執(zhí)行而 Dream-RSI 的第一性原理顛覆在于將已走過的探索歷史樹升格為確定性“回放模擬器”Replay World。智能體在離線世界中反思做夢重新調(diào)度分支剪枝與并行策略無需重新調(diào)用大模型與編譯器即可獲得即時離線反饋以 0 增量推演成本驅(qū)動策略迭代最終在算法工程、GPU 內(nèi)核發(fā)現(xiàn)與智能體運(yùn)行框架Harness優(yōu)化中實現(xiàn)超百倍算力節(jié)約與大幅性能躍遷。01 遞歸自我改進(jìn)RSI的核心瓶頸固定策略失效與在線元探索的高昂代價在自主科學(xué)發(fā)現(xiàn)與復(fù)雜工程代碼生成任務(wù)中遞歸自我改進(jìn)Recursive Self-Improvement, RSI被普遍視作通往高階通用人工智能的關(guān)鍵路徑。然而當(dāng)前無論是 AlphaEvolve、CodeEvolve 還是 SimpleTES在面對數(shù)千步長周期的超大搜索空間時均陷入了深刻的“元探索悖論”靜態(tài)探索策略的收益遞減固定的啟發(fā)式規(guī)則如固定分支寬度、簡單退火、均勻輪詢無法從歷史經(jīng)驗中進(jìn)化導(dǎo)致智能體反復(fù)在無效死胡同中揮霍算力隨著探索輪次增加邊際產(chǎn)出急劇衰減。元層級反饋嚴(yán)重延遲與昂貴評估一個候選解僅需單次編譯測試但評估一種“探索策略”必須等待該策略完整展開數(shù)十輪、消耗數(shù)千次大模型調(diào)用后的整體表現(xiàn)在線試錯成本極其驚人。提示詞方向引導(dǎo)的虛妄幻覺簡單在 Prompt 中硬編碼方向性經(jīng)驗如“避開分支A、多嘗試算法B”往往造成早熟收斂束縛模型的多樣性發(fā)散甚至劣于無引導(dǎo)的純隨機(jī)擴(kuò)展。鄭童團(tuán)隊明確指出必須將“探索策略的編排機(jī)制”與“底座智能體的權(quán)重”解耦保持底座執(zhí)行模型與編譯器環(huán)境不變將探索策略顯式化為可執(zhí)行的 Python 編排代碼使閉環(huán)自進(jìn)化的焦點集中于控制層。02 探索歷史即世界模型Dream-RSI“做夢”機(jī)制與離線回放模擬器架構(gòu)Dream-RSI 最具革命性的直覺在于借鑒了強(qiáng)化學(xué)習(xí)中的世界模型World Models / Dreamer一個已經(jīng)完成的探索過程其本身就記錄了完整的決策拓?fù)渑c真實執(zhí)行結(jié)果樹。這段歷史不應(yīng)被當(dāng)作靜態(tài)的文本日志而是一個天然的可執(zhí)行模擬環(huán)境。探索樹的數(shù)學(xué)抽象探索空間被建模為一棵以初始工作區(qū)狀態(tài)為根節(jié)點rrr的樹T\mathcal{T}T。每個子節(jié)點vvv封裝了該步的代碼變體、編譯日志與客觀標(biāo)量得分svs_vsv??？蓴U(kuò)展動作空間為當(dāng)前所有可見葉子節(jié)點集合A(T)A(\mathcal{T})A(T)。共享的決策控制接口策略代碼在每輪決策中從可見候選節(jié)點中選出并發(fā)批次C?A(T)C \subseteq A(\mathcal{T})C?A(T)∣C∣≤W|C| \le W∣C∣≤W其中WWW為最大并行工人數(shù)。批次大小直接決定了計算資源的并行分配與調(diào)度節(jié)奏。離線確定性回放Dreaming當(dāng)新策略πtm\pi_{t}^{m}πtm?在歷史樹中“做夢”時它重新做出分支選擇、分配并行度或提前終止。若選擇某一歷史節(jié)點環(huán)境直接讀取此前已保存的執(zhí)行結(jié)果無需重新調(diào)用大模型生成代碼也無需重新運(yùn)行 GPU 編譯測試。閉環(huán)演化飛輪在線探索生成新歷史→\to→歷史沉淀擴(kuò)充模擬器池→\to→離線做夢演化出更高勝率的策略代碼→\to→部署新策略開啟下一輪在線探索。這一機(jī)制徹底抹平了元探索試錯的經(jīng)濟(jì)門檻在歷史回放的世界里幾毫秒內(nèi)即可完成數(shù)千步?jīng)Q策推演智能體得以低成本探索數(shù)千種策略分支的優(yōu)劣。03 質(zhì)量、成本與并行度的帕累托權(quán)衡基于超體積HV與延遲懲罰的代碼策略演化在離線模擬環(huán)境中如何客觀量化一個探索策略代碼的優(yōu)劣Dream-RSI 構(gòu)建了一套兼顧最終解質(zhì)量、計算調(diào)用成本與時延并行度的多目標(biāo)評價體系核心評估指標(biāo)數(shù)學(xué)表征與計算邏輯工程意義與設(shè)計初衷質(zhì)量-成本超體積 (HV)HV∑j(aj?aj?1)(1?njB)HV \sum_j (a_j - a_{j-1})\left(1 - \frac{n_j}{B}\right)HV∑j?(aj??aj?1?)(1?Bnj??)積分覆蓋多預(yù)算偏好下的非支配前沿面衡量策略在不同計算預(yù)算下的自適應(yīng)性嚴(yán)厲懲罰“高成本換取微小提升”的低效策略獎勵在預(yù)算初期即收斂優(yōu)質(zhì)解的行為。并行度時延懲罰 §$P \frac{1}{P綜合策略選擇評分 (V)VHV?λ?PV HV - \lambda \cdot PVHV?λ?Pλ\lambdaλ控制并行效率與探索深度的權(quán)衡因子策略演化智能體LLM Policy-Development Agent依據(jù)多輪做夢軌跡日志對 Python 策略代碼進(jìn)行代碼重構(gòu)挑選VVV最高者上線。更關(guān)鍵的是消融實驗證實若僅將歷史總結(jié)為文本建議注入 Context后續(xù)探索極易偏執(zhí)而通過重寫調(diào)度算法代碼如引入動態(tài)自適應(yīng)門限、基于方差的主動早停策略能夠優(yōu)雅地在“發(fā)現(xiàn)瓶頸期加大并發(fā)發(fā)散”與“收斂平穩(wěn)期收緊資源消耗”之間自由切換。04 跨四大領(lǐng)域嚴(yán)苛實證從內(nèi)核發(fā)現(xiàn)到Harness優(yōu)化百倍算力節(jié)約與自主進(jìn)化范式在涵蓋算法工程、數(shù)學(xué)優(yōu)化、GPU 高性能算子及智能體 Harness 優(yōu)化的 4 大領(lǐng)域、9 種任務(wù)上Dream-RSI 均展現(xiàn)出了碾壓式的收斂速度與質(zhì)量飛躍算法工程Lasso 正則化求解器在 6 個跨領(lǐng)域真實測試集上平均運(yùn)行耗時由 3587.1ms 降至 2931.0ms僅消耗 317 次調(diào)用較 SimpleTES 算力節(jié)省高達(dá) 162 倍且泛化性能超越標(biāo)準(zhǔn)庫 sklearn 與 glmnet。GPU 算子KernelBench 實戰(zhàn)在 VGG16 與 LayerNorm 算子上分別減少 2.43× 與 1.79× 的調(diào)用量即可達(dá)到同等性能在 ConvDiv 與 ConvMax 算子上在同等預(yù)算下性能分別躍升 2.09× 與 1.44×。數(shù)學(xué)前沿組合與函數(shù)優(yōu)化在 Sum-Difference 問題上斬獲 1.145427 創(chuàng)下新高Circle Packing 達(dá)到頂尖的 2.635983以不到 1000 次生成匹敵了 SimpleTES 51200 次生成的求解表現(xiàn)。Harness 自演化終端能力躍遷在 Terminal-Bench 2.1 智能體基準(zhǔn)上通過演化智能體運(yùn)行框架Harness評分從 72.47% 躍升至 80.90%凈增 8.43 個百分點實現(xiàn)框架級自舉進(jìn)化。Dream-RSI 為智能體領(lǐng)域帶來了深刻的范式轉(zhuǎn)移真正的遞歸自我改進(jìn)并不局限于盲目微調(diào)底座模型而在于將探索經(jīng)驗轉(zhuǎn)化為確定性模擬資產(chǎn)。當(dāng)“歷史回放”成為智能體免費做夢反思的演武場AI 正在從單次線性的求解機(jī)器蛻變成為具備自省調(diào)優(yōu)、自我演化的長程探索者。技術(shù)解讀NICE學(xué)術(shù)前沿學(xué)術(shù)報告 · 讀馬里蘭大學(xué)鄭童團(tuán)隊工作《Dream-RSI: Recursive Self-Improvement through Evolving Worlds》全景解析 讓智能體在“歷史回放”中做夢：破解遞歸自我改進(jìn)的元探索困境——讀馬里蘭大學(xué)鄭童NICE學(xué)術(shù)前沿分享
NICE學(xué)術(shù) · 前沿對話 | 演講人鄭童馬里蘭大學(xué)帕克分校博士生、Dream-RSI 第一作者 | 議題Dream-RSI讓智能體通過“做夢”實現(xiàn)遞歸自我改進(jìn)核心洞察長程自主智能體實現(xiàn)遞歸自我改進(jìn)RSI的最大死穴從來不是底座模型“寫不出代碼”而是元搜索層面的“探索策略優(yōu)化極度昂貴”。傳統(tǒng)方法在線調(diào)整搜索策略需等待數(shù)千次昂貴的生成與代碼真實執(zhí)行而 Dream-RSI 的第一性原理顛覆在于將已走過的探索歷史樹升格為確定性“回放模擬器”Replay World。智能體在離線世界中反思做夢重新調(diào)度分支剪枝與并行策略無需重新調(diào)用大模型與編譯器即可獲得即時離線反饋以 0 增量推演成本驅(qū)動策略迭代最終在算法工程、GPU 內(nèi)核發(fā)現(xiàn)與智能體運(yùn)行框架Harness優(yōu)化中實現(xiàn)超百倍算力節(jié)約與大幅性能躍遷。01 遞歸自我改進(jìn)RSI的核心瓶頸固定策略失效與在線元探索的高昂代價在自主科學(xué)發(fā)現(xiàn)與復(fù)雜工程代碼生成任務(wù)中遞歸自我改進(jìn)Recursive Self-Improvement, RSI被普遍視作通往高階通用人工智能的關(guān)鍵路徑。然而當(dāng)前無論是 AlphaEvolve、CodeEvolve 還是 SimpleTES在面對數(shù)千步長周期的超大搜索空間時均陷入了深刻的“元探索悖論”靜態(tài)探索策略的收益遞減固定的啟發(fā)式規(guī)則如固定分支寬度、簡單退火、均勻輪詢無法從歷史經(jīng)驗中進(jìn)化導(dǎo)致智能體反復(fù)在無效死胡同中揮霍算力隨著探索輪次增加邊際產(chǎn)出急劇衰減。元層級反饋嚴(yán)重延遲與昂貴評估一個候選解僅需單次編譯測試但評估一種“探索策略”必須等待該策略完整展開數(shù)十輪、消耗數(shù)千次大模型調(diào)用后的整體表現(xiàn)在線試錯成本極其驚人。提示詞方向引導(dǎo)的虛妄幻覺簡單在 Prompt 中硬編碼方向性經(jīng)驗如“避開分支A、多嘗試算法B”往往造成早熟收斂束縛模型的多樣性發(fā)散甚至劣于無引導(dǎo)的純隨機(jī)擴(kuò)展。鄭童團(tuán)隊明確指出必須將“探索策略的編排機(jī)制”與“底座智能體的權(quán)重”解耦保持底座執(zhí)行模型與編譯器環(huán)境不變將探索策略顯式化為可執(zhí)行的 Python 編排代碼使閉環(huán)自進(jìn)化的焦點集中于控制層。02 探索歷史即世界模型Dream-RSI“做夢”機(jī)制與離線回放模擬器架構(gòu)Dream-RSI 最具革命性的直覺在于借鑒了強(qiáng)化學(xué)習(xí)中的世界模型World Models / Dreamer一個已經(jīng)完成的探索過程其本身就記錄了完整的決策拓?fù)渑c真實執(zhí)行結(jié)果樹。這段歷史不應(yīng)被當(dāng)作靜態(tài)的文本日志而是一個天然的可執(zhí)行模擬環(huán)境。探索樹的數(shù)學(xué)抽象探索空間被建模為一棵以初始工作區(qū)狀態(tài)為根節(jié)點rrr的樹T\mathcal{T}T。每個子節(jié)點vvv封裝了該步的代碼變體、編譯日志與客觀標(biāo)量得分svs_vsv??？蓴U(kuò)展動作空間為當(dāng)前所有可見葉子節(jié)點集合A(T)A(\mathcal{T})A(T)。共享的決策控制接口策略代碼在每輪決策中從可見候選節(jié)點中選出并發(fā)批次C?A(T)C \subseteq A(\mathcal{T})C?A(T)∣C∣≤W|C| \le W∣C∣≤W其中WWW為最大并行工人數(shù)。批次大小直接決定了計算資源的并行分配與調(diào)度節(jié)奏。離線確定性回放Dreaming當(dāng)新策略πtm\pi_{t}^{m}πtm?在歷史樹中“做夢”時它重新做出分支選擇、分配并行度或提前終止。若選擇某一歷史節(jié)點環(huán)境直接讀取此前已保存的執(zhí)行結(jié)果無需重新調(diào)用大模型生成代碼也無需重新運(yùn)行 GPU 編譯測試。閉環(huán)演化飛輪在線探索生成新歷史→\to→歷史沉淀擴(kuò)充模擬器池→\to→離線做夢演化出更高勝率的策略代碼→\to→部署新策略開啟下一輪在線探索。這一機(jī)制徹底抹平了元探索試錯的經(jīng)濟(jì)門檻在歷史回放的世界里幾毫秒內(nèi)即可完成數(shù)千步?jīng)Q策推演智能體得以低成本探索數(shù)千種策略分支的優(yōu)劣。03 質(zhì)量、成本與并行度的帕累托權(quán)衡基于超體積HV與延遲懲罰的代碼策略演化在離線模擬環(huán)境中如何客觀量化一個探索策略代碼的優(yōu)劣Dream-RSI 構(gòu)建了一套兼顧最終解質(zhì)量、計算調(diào)用成本與時延并行度的多目標(biāo)評價體系核心評估指標(biāo)數(shù)學(xué)表征與計算邏輯工程意義與設(shè)計初衷質(zhì)量-成本超體積 (HV)HV∑j(aj?aj?1)(1?njB)HV \sum_j (a_j - a_{j-1})\left(1 - \frac{n_j}{B}\right)HV∑j?(aj??aj?1?)(1?Bnj??)積分覆蓋多預(yù)算偏好下的非支配前沿面衡量策略在不同計算預(yù)算下的自適應(yīng)性嚴(yán)厲懲罰“高成本換取微小提升”的低效策略獎勵在預(yù)算初期即收斂優(yōu)質(zhì)解的行為。并行度時延懲罰 §$P \frac{1}{P綜合策略選擇評分 (V)VHV?λ?PV HV - \lambda \cdot PVHV?λ?Pλ\lambdaλ控制并行效率與探索深度的權(quán)衡因子策略演化智能體LLM Policy-Development Agent依據(jù)多輪做夢軌跡日志對 Python 策略代碼進(jìn)行代碼重構(gòu)挑選VVV最高者上線。更關(guān)鍵的是消融實驗證實若僅將歷史總結(jié)為文本建議注入 Context后續(xù)探索極易偏執(zhí)而通過重寫調(diào)度算法代碼如引入動態(tài)自適應(yīng)門限、基于方差的主動早停策略能夠優(yōu)雅地在“發(fā)現(xiàn)瓶頸期加大并發(fā)發(fā)散”與“收斂平穩(wěn)期收緊資源消耗”之間自由切換。04 跨四大領(lǐng)域嚴(yán)苛實證從內(nèi)核發(fā)現(xiàn)到Harness優(yōu)化百倍算力節(jié)約與自主進(jìn)化范式在涵蓋算法工程、數(shù)學(xué)優(yōu)化、GPU 高性能算子及智能體 Harness 優(yōu)化的 4 大領(lǐng)域、9 種任務(wù)上Dream-RSI 均展現(xiàn)出了碾壓式的收斂速度與質(zhì)量飛躍算法工程Lasso 正則化求解器在 6 個跨領(lǐng)域真實測試集上平均運(yùn)行耗時由 3587.1ms 降至 2931.0ms僅消耗 317 次調(diào)用較 SimpleTES 算力節(jié)省高達(dá) 162 倍且泛化性能超越標(biāo)準(zhǔn)庫 sklearn 與 glmnet。GPU 算子KernelBench 實戰(zhàn)在 VGG16 與 LayerNorm 算子上分別減少 2.43× 與 1.79× 的調(diào)用量即可達(dá)到同等性能在 ConvDiv 與 ConvMax 算子上在同等預(yù)算下性能分別躍升 2.09× 與 1.44×。數(shù)學(xué)前沿組合與函數(shù)優(yōu)化在 Sum-Difference 問題上斬獲 1.145427 創(chuàng)下新高Circle Packing 達(dá)到頂尖的 2.635983以不到 1000 次生成匹敵了 SimpleTES 51200 次生成的求解表現(xiàn)。Harness 自演化終端能力躍遷在 Terminal-Bench 2.1 智能體基準(zhǔn)上通過演化智能體運(yùn)行框架Harness評分從 72.47% 躍升至 80.90%凈增 8.43 個百分點實現(xiàn)框架級自舉進(jìn)化。Dream-RSI 為智能體領(lǐng)域帶來了深刻的范式轉(zhuǎn)移真正的遞歸自我改進(jìn)并不局限于盲目微調(diào)底座模型而在于將探索經(jīng)驗轉(zhuǎn)化為確定性模擬資產(chǎn)。當(dāng)“歷史回放”成為智能體免費做夢反思的演武場AI 正在從單次線性的求解機(jī)器蛻變成為具備自省調(diào)優(yōu)、自我演化的長程探索者。技術(shù)解讀NICE學(xué)術(shù)前沿學(xué)術(shù)報告 · 讀馬里蘭大學(xué)鄭童團(tuán)隊工作《Dream-RSI: Recursive Self-Improvement through Evolving Worlds》全景解析