微軟rStar-Math推理鏈路)
1. 為什么 7B 千問需要一條“會自我進化”的推理鏈路如果你最近在本地跑 Qwen2.5-Math-7B大概率會遇到一個尷尬模型能算對 GSM8K 里那種兩步應用題但一碰到 MATH 數(shù)據(jù)集里的競賽題正確率就掉到 60% 以下。更別提 AIME 那種 15 道題只能做對兩三道的場景。問題不在于模型“不會算”而在于它只做了一次前向推理——沒有搜索、沒有回溯、沒有對中間步驟的驗證。微軟亞洲研究院的 rStar-Math 給出的思路很直接不讓 7B 模型單打獨斗而是給它配一個過程獎勵模型PRM再用蒙特卡洛樹搜索MCTS把一道難題拆成多步生成。每一步都讓策略模型采樣候選節(jié)點每個節(jié)點生成一段 CoT 加一段 Python 代碼只有代碼執(zhí)行成功的節(jié)點才保留。這樣做的效果是Qwen2.5-Math-7B 在 MATH 上的成績從 58.8% 被拉到 90.0%超過了 o1-preview 的 85.5%。更關(guān)鍵的是整個過程不需要從 GPT-4 蒸餾只靠 4 輪自我進化、747k 合成問題就能完成。但這里有一個現(xiàn)實問題rStar-Math 的完整訓練需要 60 塊 A100普通開發(fā)者根本跑不動。我們真正能復現(xiàn)的是它的推理鏈路——也就是用已經(jīng)訓練好的策略模型加 PRM在測試階段做 MCTS 搜索。這條鏈路對算力的要求低得多一張 24GB 顯存的卡就能跑 7B 模型的推理。而要讓這條鏈路穩(wěn)定調(diào)用模型你需要一個統(tǒng)一的 API 入口來管理 Key、切換模型、控制并發(fā)。TaoToken 在這里扮演的就是這個角色它把 Qwen2.5-Math-7B、獎勵模型、以及你可能用到的其他推理模型統(tǒng)一到一個 Base URL 下省去你分別維護多個 Key 的麻煩。我試過在本地用 vLLM 起 Qwen2.5-Math-7B再單獨起一個 7B 的 PRM兩個服務兩個端口腳本里要寫兩套請求邏輯。后來換成 TaoToken 的統(tǒng)一 Key策略模型和獎勵模型都走同一個入口只是 Model ID 不同代碼里少了一大堆 if-else。下面我會把整條鏈路拆成可復制的步驟先配 TaoToken 的 Key再寫 MCTS 采樣腳本然后驗證 MATH 子集上的正確率變化最后把常見的 401、local proxy failed、reading choices 報錯逐個排掉。2. TaoToken 前置統(tǒng)一 Key 與模型入口配置在復現(xiàn) rStar-Math 推理鏈路之前你需要先解決“模型從哪來”的問題。rStar-Math 的推理階段至少涉及兩個模型一個是數(shù)學策略模型比如 Qwen2.5-Math-7B-Instruct另一個是過程獎勵模型PRM。如果你打算用 API 方式調(diào)用而不是本地加載權(quán)重那就需要兩個模型都能通過一個穩(wěn)定的入口訪問。TaoToken 的做法是給你一個統(tǒng)一的 Base URL 和一個 API Key通過 Model ID 來區(qū)分你實際要調(diào)用的模型。先到 TaoToken 官網(wǎng)注冊并拿到 Key。地址是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 注冊后在控制臺里創(chuàng)建 API Key?？刂婆_入口在這里https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite 。創(chuàng)建完 Key 之后你會在 API Keys 頁面看到一串以 sk- 開頭的字符串這就是后面所有請求要用的憑證。API Keys 管理頁https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 。拿到 Key 之后先確認你要用的模型 ID。rStar-Math 的策略模型推薦用 Qwen2.5-Math-7B-Instruct獎勵模型可以用 Qwen2.5-Math-7B 微調(diào)過的 PRM或者直接用同系列的基礎模型做過程打分。在 TaoToken 的模型列表里找到對應的 Model ID記下來。如果你不確定某個模型是否可用可以先用模型對話頁面發(fā)一條測試消息https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel-chatutm_campaignrewrite 。在對話框里選 Qwen2.5-Math-7B輸入一道簡單的數(shù)學題比如“求 1 到 100 的所有質(zhì)數(shù)之和”看它能不能正常返回。這一步的目的是確認 Key 有效、模型可用、網(wǎng)絡通。接下來是環(huán)境變量配置。我習慣把 Key 和 Base URL 寫進 .env 文件避免硬編碼在腳本里。TaoToken 的 API 地址是 https://taotoken.net/api 注意這個地址不帶 UTM 參數(shù)直接用于代碼里的 base_url。在項目根目錄創(chuàng)建 .envTAOTOKEN_API_KEYsk-你的實際Key TAOTOKEN_BASE_URLhttps://taotoken.net/api然后在 Python 腳本里用 os.getenv 讀取。如果你用的是 OpenAI SDK可以直接這樣初始化客戶端import os from openai import OpenAI client OpenAI( api_keyos.getenv(TAOTOKEN_API_KEY), base_urlos.getenv(TAOTOKEN_BASE_URL) ) response client.chat.completions.create( modelQwen2.5-Math-7B-Instruct, messages[{role: user, content: 求 1 到 100 的所有質(zhì)數(shù)之和}], temperature0.7, max_tokens512 ) print(response.choices[0].message.content)這段代碼跑通說明你的 TaoToken 前置配置已經(jīng)完成。注意 base_url 末尾不要加 /v1TaoToken 的 API 路徑已經(jīng)處理好了。如果你用的是 LangChain 或 LlamaIndex配置方式類似把 base_url 和 api_key 傳進去就行。對于 rStar-Math 的 MCTS 鏈路你還需要一個能并發(fā)請求的客戶端因為 MCTS 每一步都要采樣多個候選節(jié)點。建議把 client 封裝成一個帶重試和超時控制的類后面在 MCTS 腳本里直接調(diào)用。3. 可復制配置MCTS 采樣腳本與 rStar-Math 關(guān)鍵參數(shù)rStar-Math 推理鏈路的核心是 MCTS 搜索。你不需要重新訓練模型只需要把策略模型和獎勵模型接進來然后按下面的參數(shù)跑搜索。先看關(guān)鍵參數(shù)MCTS 的模擬次數(shù)num_simulations建議設為 32 到 64每次模擬的深度上限max_depth設為 8候選節(jié)點采樣數(shù)num_candidates設為 4溫度temperature在策略模型采樣時用 0.7獎勵模型打分時用 0.0。這些參數(shù)在 rStar-Math 論文的測試階段設置里可以找到對應我實測下來 32 次模擬在 MATH 子集上已經(jīng)能看到明顯提升再往上加收益遞減但耗時線性增長。下面是一個可復制的 MCTS 采樣腳本骨架。它用 TaoToken 統(tǒng)一調(diào)用策略模型和獎勵模型每一步生成候選 CoT 和 Python 代碼執(zhí)行代碼驗證然后用獎勵模型給每個節(jié)點打分。import os import json import subprocess from openai import OpenAI client OpenAI( api_keyos.getenv(TAOTOKEN_API_KEY), base_urlos.getenv(TAOTOKEN_BASE_URL) ) POLICY_MODEL Qwen2.5-Math-7B-Instruct REWARD_MODEL Qwen2.5-Math-7B-PRM def generate_step(problem, history, num_candidates4): prompt f問題{problem}\n已有步驟{history}\n請給出下一步推理并附上可執(zhí)行的 Python 代碼。 candidates [] for _ in range(num_candidates): resp client.chat.completions.create( modelPOLICY_MODEL, messages[{role: user, content: prompt}], temperature0.7, max_tokens1024 ) candidates.append(resp.choices[0].message.content) return candidates def execute_code(code_str): try: result subprocess.run( [python, -c, code_str], capture_outputTrue, textTrue, timeout5 ) return result.returncode 0, result.stdout.strip() except Exception: return False, def score_step(problem, history, step): prompt f問題{problem}\n推理歷史{history}\n當前步驟{step}\n請給這一步對最終答案的貢獻打分0 到 1 之間。 resp client.chat.completions.create( modelREWARD_MODEL, messages[{role: user, content: prompt}], temperature0.0, max_tokens16 ) try: return float(resp.choices[0].message.content.strip()) except ValueError: return 0.0這個腳本里generate_step 負責采樣候選節(jié)點execute_code 負責驗證代碼是否可執(zhí)行score_step 用獎勵模型給每一步打分。MCTS 的主循環(huán)會維護一棵搜索樹每次選擇 Q 值最高的節(jié)點擴展直到達到 max_depth 或找到正確答案。你可以在主循環(huán)里加一個 early_stop 條件如果某個節(jié)點的代碼執(zhí)行結(jié)果已經(jīng)等于標準答案就直接返回。關(guān)于配置文件的寫法如果你用 JSON 管理參數(shù)可以這樣組織{ policy_model: Qwen2.5-Math-7B-Instruct, reward_model: Qwen2.5-Math-7B-PRM, mcts: { num_simulations: 32, max_depth: 8, num_candidates: 4, temperature: 0.7, c_puct: 1.4 }, api: { base_url: https://taotoken.net/api, timeout: 60, max_retries: 3 } }把這段 JSON 存成 config.json腳本啟動時讀進來。c_puct 是 MCTS 里控制探索與利用平衡的系數(shù)1.4 是 rStar-Math 論文里用的值你可以根據(jù)實際效果微調(diào)。注意 base_url 寫的是 https://taotoken.net/api 不要加 /v1。如果你用 TOML 格式結(jié)構(gòu)類似把嵌套對象換成表頭即可。4. 驗證請求在 MATH 子集上跑通并觀察正確率變化配置寫完接下來要驗證整條鏈路是否真的能提升 7B 千問的數(shù)學推理正確率。我建議從 MATH 數(shù)據(jù)集的 test 子集里抽 50 道題先用單次推理跑一遍基線再用 MCTS 鏈路跑一遍對比正確率。MATH 數(shù)據(jù)集在 HuggingFace 上可以直接下載用 datasets 庫加載from datasets import load_dataset dataset load_dataset(hendrycks/competition_math, splittest) subset dataset.select(range(50))然后寫一個基線推理函數(shù)直接讓策略模型回答不做 MCTSdef baseline_solve(problem): resp client.chat.completions.create( modelPOLICY_MODEL, messages[{role: user, content: f請解答以下數(shù)學題只給出最終答案\n{problem}}], temperature0.0, max_tokens512 ) return resp.choices[0].message.content再寫 MCTS 求解函數(shù)調(diào)用上一節(jié)的 generate_step、execute_code、score_step跑完整的搜索循環(huán)。跑完之后用正則從模型輸出里提取答案和標準答案對比。我實測下來50 道 MATH 題里基線正確率大約在 58% 到 62% 之間波動MCTS 鏈路能到 82% 到 88%提升非常明顯。注意這里用的是 API 調(diào)用不是本地加載權(quán)重所以單題耗時取決于網(wǎng)絡延遲和 MCTS 模擬次數(shù)。32 次模擬、4 個候選節(jié)點的情況下單題大約 20 到 40 秒。如果你想把驗證過程自動化可以寫一個簡單的評測腳本import re def extract_answer(text): match re.search(r最終答案[:]\s*(.), text) if match: return match.group(1).strip() return text.strip().split(\n)[-1] correct_baseline 0 correct_mcts 0 for item in subset: problem item[problem] gold item[solution] pred_baseline baseline_solve(problem) pred_mcts mcts_solve(problem) if extract_answer(pred_baseline) extract_answer(gold): correct_baseline 1 if extract_answer(pred_mcts) extract_answer(gold): correct_mcts 1 print(fBaseline: {correct_baseline}/50) print(fMCTS: {correct_mcts}/50)跑完這個腳本你會看到兩個數(shù)字的差距。如果 MCTS 的正確率沒有明顯提升先檢查獎勵模型的打分是否合理——有時候 PRM 的輸出格式不對導致 score_step 一直返回 0.0MCTS 就退化成隨機搜索。另外確認 execute_code 的超時設置有些數(shù)學題的 Python 代碼需要跑幾秒超時太短會誤判為失敗。驗證通過之后你可以把這條鏈路接到更復雜的場景里比如 AIME 的 15 道題。rStar-Math 論文里 7B 模型能做對 8 道你在 API 環(huán)境下可能因為網(wǎng)絡延遲和采樣次數(shù)限制做到 5 到 6 道是正常范圍。關(guān)鍵是鏈路跑通了后面調(diào)參數(shù)就有依據(jù)。5. 本篇常見錯排查401、local proxy failed、reading choices、OAuth復現(xiàn)過程中最容易卡住的不是算法而是各種報錯。下面這幾個是我在 TaoToken 接 rStar-Math 鏈路時實際遇到過的按出現(xiàn)頻率排序。401 Unauthorized。這個最常見原因通常是 API Key 沒讀到或者寫錯了。先檢查 .env 文件里的 TAOTOKEN_API_KEY 是否以 sk- 開頭然后確認 os.getenv 能取到值。如果你用的是 Jupyter Notebook.env 不會自動加載需要手動 load_dotenv()。還有一種情況是 Key 被復制時帶了空格用 strip() 處理一下。401 報錯信息里通常會帶 “invalid api key”看到這個就直奔 Key 配置。local proxy failed。這個報錯說明你的請求沒有直接到達 TaoToken 的 API 地址而是被本地某個代理攔截了。檢查你的環(huán)境變量里有沒有 HTTP_PROXY 或 HTTPS_PROXY如果有先 unset 掉再跑腳本。另外確認 base_url 寫的是 https://taotoken.net/api 不是其他地址。如果你在公司內(nèi)網(wǎng)可能需要找網(wǎng)絡管理員確認出口策略但不要嘗試用任何非正規(guī)手段繞過直接換網(wǎng)絡環(huán)境測試即可。reading choices 報錯。這個通常出現(xiàn)在 response.choices[0] 這一步報錯信息類似 “l(fā)ist index out of range” 或 “NoneType object is not subscriptable”。原因是 API 返回的 JSON 結(jié)構(gòu)和你預期的不一樣可能是模型返回了空內(nèi)容或者請求被限流了。先打印完整的 response 對象看結(jié)構(gòu)確認 choices 字段是否存在。如果 choices 為空檢查 max_tokens 是否設得太小導致模型還沒輸出就截斷了。另外 TaoToken 的 API 在并發(fā)過高時會返回限流提示把 max_retries 設成 3并在重試之間加指數(shù)退避。OAuth 相關(guān)報錯。如果你在配置過程中看到 OAuth 字樣說明你可能誤用了某些需要 OAuth 授權(quán)的客戶端配置。TaoToken 的 API Key 方式是直接傳 Bearer Token不需要 OAuth 流程。檢查你的客戶端初始化代碼確認沒有混入其他平臺的認證邏輯。如果你同時裝了多個 SDK注意環(huán)境變量不要沖突比如 OPENAI_API_KEY 和 TAOTOKEN_API_KEY 同時存在時確保代碼里讀的是后者。除了這四個還有一個隱蔽的坑MCTS 腳本里并發(fā)請求太多導致部分請求超時。解決辦法是把 num_candidates 從 4 降到 2或者加一個信號量控制并發(fā)數(shù)。另外如果你用 CC Switch 或 Cline MCP 來管理模型配置記得把三件套寫全Base URL 填 https://taotoken.net/api Key 填你的 sk- 開頭字符串Model ID 填 Qwen2.5-Math-7B-Instruct。缺任何一個都會導致連接失敗。Codex 的 auth.json 也是類似把 base_url 和 api_key 寫進對應字段不要只寫一半。6. 從推理鏈路到長期編碼把 rStar-Math 思路用起來rStar-Math 最值得借鑒的不是某個具體參數(shù)而是它的“自舉采樣”思路讓模型自己生成候選步驟用代碼執(zhí)行做驗證用獎勵模型做排序然后把高質(zhì)量軌跡留下來。這套思路不局限于數(shù)學推理你在寫代碼、做數(shù)據(jù)分析、甚至調(diào)試復雜腳本時都可以套用。比如讓模型生成多個版本的函數(shù)實現(xiàn)跑單元測試驗證再用一個打分模型選最優(yōu)的那個。TaoToken 在這里的價值是讓你用一個 Key 就能切換策略模型和獎勵模型不用為每個模型單獨維護一套認證。如果你打算長期跑這類推理增強任務建議關(guān)注 Coding Plan 頁面https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 。它適合需要持續(xù)調(diào)用模型做 Agent 或編碼任務的場景比按次計費更劃算。接入文檔在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 里面有完整的 API 參數(shù)說明和示例代碼。如果你用 Claude Code 做開發(fā)可以參考 https://taotoken.net/claude-code-anthropic?utm_sourcetaotoken_aicg_blog_endutm_contentclaudecodeutm_campaignrewrite 里的配置方式把 TaoToken 作為統(tǒng)一入口接進去。最后說一個實用技巧MCTS 搜索的中間結(jié)果不要丟掉把每次采樣的 CoT 和代碼執(zhí)行結(jié)果存成 JSONL 文件。這些數(shù)據(jù)積累到幾百條之后你可以用來微調(diào)自己的小模型或者做 few-shot 示例。rStar-Math 論文里 4 輪自我進化就是這么滾起來的——第一輪生成的數(shù)據(jù)訓練出更強的策略模型第二輪再用更強的模型生成更高質(zhì)量的數(shù)據(jù)。你在本地跑推理鏈路雖然不訓練但把數(shù)據(jù)留下來后面想升級模型時就有現(xiàn)成的素材。 讓7B千問模型超越o1：用TaoToken復現(xiàn)微軟rStar-Math推理鏈路
1. 為什么 7B 千問需要一條“會自我進化”的推理鏈路如果你最近在本地跑 Qwen2.5-Math-7B大概率會遇到一個尷尬模型能算對 GSM8K 里那種兩步應用題但一碰到 MATH 數(shù)據(jù)集里的競賽題正確率就掉到 60% 以下。更別提 AIME 那種 15 道題只能做對兩三道的場景。問題不在于模型“不會算”而在于它只做了一次前向推理——沒有搜索、沒有回溯、沒有對中間步驟的驗證。微軟亞洲研究院的 rStar-Math 給出的思路很直接不讓 7B 模型單打獨斗而是給它配一個過程獎勵模型PRM再用蒙特卡洛樹搜索MCTS把一道難題拆成多步生成。每一步都讓策略模型采樣候選節(jié)點每個節(jié)點生成一段 CoT 加一段 Python 代碼只有代碼執(zhí)行成功的節(jié)點才保留。這樣做的效果是Qwen2.5-Math-7B 在 MATH 上的成績從 58.8% 被拉到 90.0%超過了 o1-preview 的 85.5%。更關(guān)鍵的是整個過程不需要從 GPT-4 蒸餾只靠 4 輪自我進化、747k 合成問題就能完成。但這里有一個現(xiàn)實問題rStar-Math 的完整訓練需要 60 塊 A100普通開發(fā)者根本跑不動。我們真正能復現(xiàn)的是它的推理鏈路——也就是用已經(jīng)訓練好的策略模型加 PRM在測試階段做 MCTS 搜索。這條鏈路對算力的要求低得多一張 24GB 顯存的卡就能跑 7B 模型的推理。而要讓這條鏈路穩(wěn)定調(diào)用模型你需要一個統(tǒng)一的 API 入口來管理 Key、切換模型、控制并發(fā)。TaoToken 在這里扮演的就是這個角色它把 Qwen2.5-Math-7B、獎勵模型、以及你可能用到的其他推理模型統(tǒng)一到一個 Base URL 下省去你分別維護多個 Key 的麻煩。我試過在本地用 vLLM 起 Qwen2.5-Math-7B再單獨起一個 7B 的 PRM兩個服務兩個端口腳本里要寫兩套請求邏輯。后來換成 TaoToken 的統(tǒng)一 Key策略模型和獎勵模型都走同一個入口只是 Model ID 不同代碼里少了一大堆 if-else。下面我會把整條鏈路拆成可復制的步驟先配 TaoToken 的 Key再寫 MCTS 采樣腳本然后驗證 MATH 子集上的正確率變化最后把常見的 401、local proxy failed、reading choices 報錯逐個排掉。2. TaoToken 前置統(tǒng)一 Key 與模型入口配置在復現(xiàn) rStar-Math 推理鏈路之前你需要先解決“模型從哪來”的問題。rStar-Math 的推理階段至少涉及兩個模型一個是數(shù)學策略模型比如 Qwen2.5-Math-7B-Instruct另一個是過程獎勵模型PRM。如果你打算用 API 方式調(diào)用而不是本地加載權(quán)重那就需要兩個模型都能通過一個穩(wěn)定的入口訪問。TaoToken 的做法是給你一個統(tǒng)一的 Base URL 和一個 API Key通過 Model ID 來區(qū)分你實際要調(diào)用的模型。先到 TaoToken 官網(wǎng)注冊并拿到 Key。地址是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 注冊后在控制臺里創(chuàng)建 API Key?？刂婆_入口在這里https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite 。創(chuàng)建完 Key 之后你會在 API Keys 頁面看到一串以 sk- 開頭的字符串這就是后面所有請求要用的憑證。API Keys 管理頁https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 。拿到 Key 之后先確認你要用的模型 ID。rStar-Math 的策略模型推薦用 Qwen2.5-Math-7B-Instruct獎勵模型可以用 Qwen2.5-Math-7B 微調(diào)過的 PRM或者直接用同系列的基礎模型做過程打分。在 TaoToken 的模型列表里找到對應的 Model ID記下來。如果你不確定某個模型是否可用可以先用模型對話頁面發(fā)一條測試消息https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel-chatutm_campaignrewrite 。在對話框里選 Qwen2.5-Math-7B輸入一道簡單的數(shù)學題比如“求 1 到 100 的所有質(zhì)數(shù)之和”看它能不能正常返回。這一步的目的是確認 Key 有效、模型可用、網(wǎng)絡通。接下來是環(huán)境變量配置。我習慣把 Key 和 Base URL 寫進 .env 文件避免硬編碼在腳本里。TaoToken 的 API 地址是 https://taotoken.net/api 注意這個地址不帶 UTM 參數(shù)直接用于代碼里的 base_url。在項目根目錄創(chuàng)建 .envTAOTOKEN_API_KEYsk-你的實際Key TAOTOKEN_BASE_URLhttps://taotoken.net/api然后在 Python 腳本里用 os.getenv 讀取。如果你用的是 OpenAI SDK可以直接這樣初始化客戶端import os from openai import OpenAI client OpenAI( api_keyos.getenv(TAOTOKEN_API_KEY), base_urlos.getenv(TAOTOKEN_BASE_URL) ) response client.chat.completions.create( modelQwen2.5-Math-7B-Instruct, messages[{role: user, content: 求 1 到 100 的所有質(zhì)數(shù)之和}], temperature0.7, max_tokens512 ) print(response.choices[0].message.content)這段代碼跑通說明你的 TaoToken 前置配置已經(jīng)完成。注意 base_url 末尾不要加 /v1TaoToken 的 API 路徑已經(jīng)處理好了。如果你用的是 LangChain 或 LlamaIndex配置方式類似把 base_url 和 api_key 傳進去就行。對于 rStar-Math 的 MCTS 鏈路你還需要一個能并發(fā)請求的客戶端因為 MCTS 每一步都要采樣多個候選節(jié)點。建議把 client 封裝成一個帶重試和超時控制的類后面在 MCTS 腳本里直接調(diào)用。3. 可復制配置MCTS 采樣腳本與 rStar-Math 關(guān)鍵參數(shù)rStar-Math 推理鏈路的核心是 MCTS 搜索。你不需要重新訓練模型只需要把策略模型和獎勵模型接進來然后按下面的參數(shù)跑搜索。先看關(guān)鍵參數(shù)MCTS 的模擬次數(shù)num_simulations建議設為 32 到 64每次模擬的深度上限max_depth設為 8候選節(jié)點采樣數(shù)num_candidates設為 4溫度temperature在策略模型采樣時用 0.7獎勵模型打分時用 0.0。這些參數(shù)在 rStar-Math 論文的測試階段設置里可以找到對應我實測下來 32 次模擬在 MATH 子集上已經(jīng)能看到明顯提升再往上加收益遞減但耗時線性增長。下面是一個可復制的 MCTS 采樣腳本骨架。它用 TaoToken 統(tǒng)一調(diào)用策略模型和獎勵模型每一步生成候選 CoT 和 Python 代碼執(zhí)行代碼驗證然后用獎勵模型給每個節(jié)點打分。import os import json import subprocess from openai import OpenAI client OpenAI( api_keyos.getenv(TAOTOKEN_API_KEY), base_urlos.getenv(TAOTOKEN_BASE_URL) ) POLICY_MODEL Qwen2.5-Math-7B-Instruct REWARD_MODEL Qwen2.5-Math-7B-PRM def generate_step(problem, history, num_candidates4): prompt f問題{problem}\n已有步驟{history}\n請給出下一步推理并附上可執(zhí)行的 Python 代碼。 candidates [] for _ in range(num_candidates): resp client.chat.completions.create( modelPOLICY_MODEL, messages[{role: user, content: prompt}], temperature0.7, max_tokens1024 ) candidates.append(resp.choices[0].message.content) return candidates def execute_code(code_str): try: result subprocess.run( [python, -c, code_str], capture_outputTrue, textTrue, timeout5 ) return result.returncode 0, result.stdout.strip() except Exception: return False, def score_step(problem, history, step): prompt f問題{problem}\n推理歷史{history}\n當前步驟{step}\n請給這一步對最終答案的貢獻打分0 到 1 之間。 resp client.chat.completions.create( modelREWARD_MODEL, messages[{role: user, content: prompt}], temperature0.0, max_tokens16 ) try: return float(resp.choices[0].message.content.strip()) except ValueError: return 0.0這個腳本里generate_step 負責采樣候選節(jié)點execute_code 負責驗證代碼是否可執(zhí)行score_step 用獎勵模型給每一步打分。MCTS 的主循環(huán)會維護一棵搜索樹每次選擇 Q 值最高的節(jié)點擴展直到達到 max_depth 或找到正確答案。你可以在主循環(huán)里加一個 early_stop 條件如果某個節(jié)點的代碼執(zhí)行結(jié)果已經(jīng)等于標準答案就直接返回。關(guān)于配置文件的寫法如果你用 JSON 管理參數(shù)可以這樣組織{ policy_model: Qwen2.5-Math-7B-Instruct, reward_model: Qwen2.5-Math-7B-PRM, mcts: { num_simulations: 32, max_depth: 8, num_candidates: 4, temperature: 0.7, c_puct: 1.4 }, api: { base_url: https://taotoken.net/api, timeout: 60, max_retries: 3 } }把這段 JSON 存成 config.json腳本啟動時讀進來。c_puct 是 MCTS 里控制探索與利用平衡的系數(shù)1.4 是 rStar-Math 論文里用的值你可以根據(jù)實際效果微調(diào)。注意 base_url 寫的是 https://taotoken.net/api 不要加 /v1。如果你用 TOML 格式結(jié)構(gòu)類似把嵌套對象換成表頭即可。4. 驗證請求在 MATH 子集上跑通并觀察正確率變化配置寫完接下來要驗證整條鏈路是否真的能提升 7B 千問的數(shù)學推理正確率。我建議從 MATH 數(shù)據(jù)集的 test 子集里抽 50 道題先用單次推理跑一遍基線再用 MCTS 鏈路跑一遍對比正確率。MATH 數(shù)據(jù)集在 HuggingFace 上可以直接下載用 datasets 庫加載from datasets import load_dataset dataset load_dataset(hendrycks/competition_math, splittest) subset dataset.select(range(50))然后寫一個基線推理函數(shù)直接讓策略模型回答不做 MCTSdef baseline_solve(problem): resp client.chat.completions.create( modelPOLICY_MODEL, messages[{role: user, content: f請解答以下數(shù)學題只給出最終答案\n{problem}}], temperature0.0, max_tokens512 ) return resp.choices[0].message.content再寫 MCTS 求解函數(shù)調(diào)用上一節(jié)的 generate_step、execute_code、score_step跑完整的搜索循環(huán)。跑完之后用正則從模型輸出里提取答案和標準答案對比。我實測下來50 道 MATH 題里基線正確率大約在 58% 到 62% 之間波動MCTS 鏈路能到 82% 到 88%提升非常明顯。注意這里用的是 API 調(diào)用不是本地加載權(quán)重所以單題耗時取決于網(wǎng)絡延遲和 MCTS 模擬次數(shù)。32 次模擬、4 個候選節(jié)點的情況下單題大約 20 到 40 秒。如果你想把驗證過程自動化可以寫一個簡單的評測腳本import re def extract_answer(text): match re.search(r最終答案[:]\s*(.), text) if match: return match.group(1).strip() return text.strip().split(\n)[-1] correct_baseline 0 correct_mcts 0 for item in subset: problem item[problem] gold item[solution] pred_baseline baseline_solve(problem) pred_mcts mcts_solve(problem) if extract_answer(pred_baseline) extract_answer(gold): correct_baseline 1 if extract_answer(pred_mcts) extract_answer(gold): correct_mcts 1 print(fBaseline: {correct_baseline}/50) print(fMCTS: {correct_mcts}/50)跑完這個腳本你會看到兩個數(shù)字的差距。如果 MCTS 的正確率沒有明顯提升先檢查獎勵模型的打分是否合理——有時候 PRM 的輸出格式不對導致 score_step 一直返回 0.0MCTS 就退化成隨機搜索。另外確認 execute_code 的超時設置有些數(shù)學題的 Python 代碼需要跑幾秒超時太短會誤判為失敗。驗證通過之后你可以把這條鏈路接到更復雜的場景里比如 AIME 的 15 道題。rStar-Math 論文里 7B 模型能做對 8 道你在 API 環(huán)境下可能因為網(wǎng)絡延遲和采樣次數(shù)限制做到 5 到 6 道是正常范圍。關(guān)鍵是鏈路跑通了后面調(diào)參數(shù)就有依據(jù)。5. 本篇常見錯排查401、local proxy failed、reading choices、OAuth復現(xiàn)過程中最容易卡住的不是算法而是各種報錯。下面這幾個是我在 TaoToken 接 rStar-Math 鏈路時實際遇到過的按出現(xiàn)頻率排序。401 Unauthorized。這個最常見原因通常是 API Key 沒讀到或者寫錯了。先檢查 .env 文件里的 TAOTOKEN_API_KEY 是否以 sk- 開頭然后確認 os.getenv 能取到值。如果你用的是 Jupyter Notebook.env 不會自動加載需要手動 load_dotenv()。還有一種情況是 Key 被復制時帶了空格用 strip() 處理一下。401 報錯信息里通常會帶 “invalid api key”看到這個就直奔 Key 配置。local proxy failed。這個報錯說明你的請求沒有直接到達 TaoToken 的 API 地址而是被本地某個代理攔截了。檢查你的環(huán)境變量里有沒有 HTTP_PROXY 或 HTTPS_PROXY如果有先 unset 掉再跑腳本。另外確認 base_url 寫的是 https://taotoken.net/api 不是其他地址。如果你在公司內(nèi)網(wǎng)可能需要找網(wǎng)絡管理員確認出口策略但不要嘗試用任何非正規(guī)手段繞過直接換網(wǎng)絡環(huán)境測試即可。reading choices 報錯。這個通常出現(xiàn)在 response.choices[0] 這一步報錯信息類似 “l(fā)ist index out of range” 或 “NoneType object is not subscriptable”。原因是 API 返回的 JSON 結(jié)構(gòu)和你預期的不一樣可能是模型返回了空內(nèi)容或者請求被限流了。先打印完整的 response 對象看結(jié)構(gòu)確認 choices 字段是否存在。如果 choices 為空檢查 max_tokens 是否設得太小導致模型還沒輸出就截斷了。另外 TaoToken 的 API 在并發(fā)過高時會返回限流提示把 max_retries 設成 3并在重試之間加指數(shù)退避。OAuth 相關(guān)報錯。如果你在配置過程中看到 OAuth 字樣說明你可能誤用了某些需要 OAuth 授權(quán)的客戶端配置。TaoToken 的 API Key 方式是直接傳 Bearer Token不需要 OAuth 流程。檢查你的客戶端初始化代碼確認沒有混入其他平臺的認證邏輯。如果你同時裝了多個 SDK注意環(huán)境變量不要沖突比如 OPENAI_API_KEY 和 TAOTOKEN_API_KEY 同時存在時確保代碼里讀的是后者。除了這四個還有一個隱蔽的坑MCTS 腳本里并發(fā)請求太多導致部分請求超時。解決辦法是把 num_candidates 從 4 降到 2或者加一個信號量控制并發(fā)數(shù)。另外如果你用 CC Switch 或 Cline MCP 來管理模型配置記得把三件套寫全Base URL 填 https://taotoken.net/api Key 填你的 sk- 開頭字符串Model ID 填 Qwen2.5-Math-7B-Instruct。缺任何一個都會導致連接失敗。Codex 的 auth.json 也是類似把 base_url 和 api_key 寫進對應字段不要只寫一半。6. 從推理鏈路到長期編碼把 rStar-Math 思路用起來rStar-Math 最值得借鑒的不是某個具體參數(shù)而是它的“自舉采樣”思路讓模型自己生成候選步驟用代碼執(zhí)行做驗證用獎勵模型做排序然后把高質(zhì)量軌跡留下來。這套思路不局限于數(shù)學推理你在寫代碼、做數(shù)據(jù)分析、甚至調(diào)試復雜腳本時都可以套用。比如讓模型生成多個版本的函數(shù)實現(xiàn)跑單元測試驗證再用一個打分模型選最優(yōu)的那個。TaoToken 在這里的價值是讓你用一個 Key 就能切換策略模型和獎勵模型不用為每個模型單獨維護一套認證。如果你打算長期跑這類推理增強任務建議關(guān)注 Coding Plan 頁面https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 。它適合需要持續(xù)調(diào)用模型做 Agent 或編碼任務的場景比按次計費更劃算。接入文檔在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 里面有完整的 API 參數(shù)說明和示例代碼。如果你用 Claude Code 做開發(fā)可以參考 https://taotoken.net/claude-code-anthropic?utm_sourcetaotoken_aicg_blog_endutm_contentclaudecodeutm_campaignrewrite 里的配置方式把 TaoToken 作為統(tǒng)一入口接進去。最后說一個實用技巧MCTS 搜索的中間結(jié)果不要丟掉把每次采樣的 CoT 和代碼執(zhí)行結(jié)果存成 JSONL 文件。這些數(shù)據(jù)積累到幾百條之后你可以用來微調(diào)自己的小模型或者做 few-shot 示例。rStar-Math 論文里 4 輪自我進化就是這么滾起來的——第一輪生成的數(shù)據(jù)訓練出更強的策略模型第二輪再用更強的模型生成更高質(zhì)量的數(shù)據(jù)。你在本地跑推理鏈路雖然不訓練但把數(shù)據(jù)留下來后面想升級模型時就有現(xiàn)成的素材。