1. 從一次上下文爆炸說起AI Agent 為什么需要 Context Engineering如果你正在搭 AI Agent大概率遇到過這種場景第一輪對話還好好的跑到第十五輪模型突然開始胡言亂語或者干脆把前面已經(jīng)確認(rèn)過的需求忘得一干二凈。更糟的是賬單上的 token 消耗像坐了火箭明明任務(wù)沒多復(fù)雜成本卻翻了好幾倍。這不是模型變笨了而是上下文管理失控了。AI Agent 和普通聊天機(jī)器人的最大區(qū)別在于它要持續(xù)調(diào)用工具、讀寫文件、維護(hù)狀態(tài)每一輪交互都會往上下文里塞新東西。語言模型本身沒有長期記憶它只認(rèn)當(dāng)前這一次輸入。所以 Agent 必須充當(dāng)經(jīng)紀(jì)人的角色決定模型這一輪到底能看到什么、看不到什么。這個篩選、壓縮、調(diào)度輸入的過程就是 Context Engineering上下文工程。用程序邏輯表達(dá)會更清楚。沒有做上下文工程的對話循環(huán)是這樣的C(新) C(舊) 輸入 輸出上下文 C 會隨著輪次無休止膨脹。而引入上下文工程后多了一個處理函數(shù) FC(新) F( C(舊), 輸入, 輸出 )這個 F 函數(shù)負(fù)責(zé)壓縮、記憶管理、過濾、按需加載。它決定了下一輪對話的輸入狀態(tài)也直接決定了 Agent 能不能在有限的上下文窗口里跑完復(fù)雜任務(wù)。本文面向正在搭建 AI Agent 的開發(fā)者從基本概念切入聚焦上下文窗口、系統(tǒng)提示與工具調(diào)用信息的組織方式。我會給出可復(fù)制的settings.json與config.toml骨架演示如何通過 TaoToken 統(tǒng)一 Key 和 API 通道接入 AI 工具并附上驗證上下文是否生效的具體檢查動作。適合已經(jīng)寫過幾輪 Agent 循環(huán)、但被上下文膨脹和工具信息組織問題卡住的同學(xué)。2. 前置準(zhǔn)備用 TaoToken 統(tǒng)一 Key 打通接入通道在講配置之前先把接入層理清楚。搭 Agent 最煩的事情之一是不同工具、不同模型、不同 SDK 各要一套 Key 和 endpoint環(huán)境變量散落各處調(diào)試時根本不知道請求發(fā)到了哪里。我的做法是用 TaoToken 作為統(tǒng)一的 API 通道一個 Key 覆蓋多個模型調(diào)用場景配置集中管理。TaoToken 的官網(wǎng)入口是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 基地址是 https://taotoken.net/api 。注意 API 地址后面不加任何 UTM 參數(shù)保持干凈。你需要先拿到 API Key。進(jìn)入控制臺創(chuàng)建https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite然后在 API Keys 頁面生成密鑰https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite生成后把 Key 寫進(jìn)環(huán)境變量不要硬編碼進(jìn)代碼export TAOTOKEN_API_KEYsk-你的密鑰 export TAOTOKEN_BASE_URLhttps://taotoken.net/api這樣做的價值在于Agent 的上下文配置里模型調(diào)用部分只需要指向一個 base_url換模型、加工具、調(diào)參數(shù)都在同一層完成。后面講settings.json和config.toml時你會看到這種統(tǒng)一接入怎么讓配置骨架變得干凈。如果你還沒決定用哪個模型跑 Agent 循環(huán)可以先去模型對話頁面實測一下上下文表現(xiàn)https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel-chatutm_campaignrewrite3. 可復(fù)制配置settings.json 與 config.toml 骨架這一節(jié)是全文的技術(shù)核心。我把 Agent 的上下文配置拆成兩個文件settings.json管運(yùn)行時參數(shù)和上下文策略config.toml管模型接入和工具注冊。兩者配合就能把上下文窗口、系統(tǒng)提示、工具調(diào)用信息組織清楚。3.1 settings.json上下文策略與窗口管理先看settings.json。這個文件定義 Agent 每一輪怎么組裝上下文{ agent: { name: context-demo-agent, max_context_tokens: 32000, reserve_output_tokens: 4096, compression: { strategy: hybrid, observation_masking: true, summarize_threshold: 0.75, keep_recent_turns: 6 }, memory: { enabled: true, store_path: ./agent_memory, save_tool_output_over_tokens: 2000, load_on_demand: true }, subagent: { enabled: true, max_depth: 2, return_summary_only: true }, observation_filter: { enabled: true, log_max_lines: 200, smart_reader: true } }, system_prompt: { path: ./prompts/system.md, inject_tool_schema: on_demand, tool_search_enabled: true } }幾個關(guān)鍵參數(shù)值得展開。max_context_tokens是上下文窗口的硬上限r(nóng)eserve_output_tokens給模型輸出留出空間兩者之差才是真正能塞歷史記錄和工具輸出的額度。compression.strategy設(shè)為hybrid意思是前期優(yōu)先用 observation masking 把冗長的工具輸出替換成一句話等上下文依然無可避免地變長時再用 summarization 一次性總結(jié)壓縮。這是我在 SWE-bench 類任務(wù)上實測下來比較穩(wěn)的組合。memory.save_tool_output_over_tokens控制多大的工具輸出應(yīng)該被存到硬盤而不是留在上下文里。subagent.return_summary_only設(shè)為 true子代理執(zhí)行完只返回精煉摘要中間步驟全部抹除防止主干上下文爆炸。3.2 config.toml模型接入與工具注冊再看config.toml這里管模型通道和工具信息[model] provider taotoken base_url https://taotoken.net/api api_key_env TAOTOKEN_API_KEY default_model claude-sonnet max_retries 3 timeout_seconds 120 [model.params] temperature 0.3 top_p 0.9 [tools] registry ./tools/registry.json schema_injection on_demand search_endpoint local [tools.builtin] save_memory true load_memory true write_file true read_file true search_tools true [context] window_source settings.json system_prompt_file ./prompts/system.md tool_result_truncate_tokens 1500base_url指向 TaoToken 的 API 地址api_key_env引用環(huán)境變量這樣 Key 不會出現(xiàn)在配置文件里。schema_injection on_demand是關(guān)鍵當(dāng) Agent 有幾百個工具時把所有工具說明全寫進(jìn)系統(tǒng)提示會導(dǎo)致長度超標(biāo)按需加載讓模型根據(jù)當(dāng)前任務(wù)動態(tài)搜索并注入所需工具指令。3.3 系統(tǒng)提示的組織方式系統(tǒng)提示不要寫成一個巨大的字符串。我習(xí)慣拆成./prompts/system.md里面用分段標(biāo)記## 角色 你是一個可以調(diào)用工具的 Agent。 ## 上下文規(guī)則 - 工具輸出超過閾值時存入記憶不留在上下文 - 每輪開始前檢查是否有可加載的歷史記憶 - 執(zhí)行高風(fēng)險操作前必須請求人類確認(rèn) ## 工具使用 工具說明按需加載不要假設(shè)所有工具都可用。注意最后那條執(zhí)行高風(fēng)險操作前必須請求人類確認(rèn)。這條指令如果被壓縮掉Agent 就可能繞過確認(rèn)直接執(zhí)行。所以壓縮策略里要配置保護(hù)規(guī)則把關(guān)鍵指令標(biāo)記為不可壓縮。這是很多團(tuán)隊踩過的坑上下文變短了但關(guān)鍵約束也丟了導(dǎo)致語境崩塌。4. 驗證請求確認(rèn)上下文配置真的生效配置寫完不代表生效。你需要一套檢查動作確認(rèn)上下文窗口、系統(tǒng)提示、工具信息都按預(yù)期組織。4.1 發(fā)一個探針請求先寫一個最小驗證腳本打印實際發(fā)送的上下文結(jié)構(gòu)import os import json import requests BASE_URL os.environ[TAOTOKEN_BASE_URL] API_KEY os.environ[TAOTOKEN_API_KEY] def probe_context(): payload { model: claude-sonnet, messages: [ {role: system, content: 你是一個上下文測試探針。}, {role: user, content: 請復(fù)述你收到的系統(tǒng)提示要點。} ], max_tokens: 256 } resp requests.post( f{BASE_URL}/v1/chat/completions, headers{ Authorization: fBearer {API_KEY}, Content-Type: application/json }, jsonpayload, timeout60 ) resp.raise_for_status() data resp.json() print(json.dumps(data, ensure_asciiFalse, indent2)) return data if __name__ __main__: probe_context()運(yùn)行后觀察返回內(nèi)容。如果模型能準(zhǔn)確復(fù)述系統(tǒng)提示里的規(guī)則說明系統(tǒng)提示注入成功。4.2 檢查上下文長度是否受控在 Agent 循環(huán)里加一個日志點每輪打印當(dāng)前上下文 token 估算值def log_context_usage(messages, max_tokens): total_chars sum(len(m.get(content, )) for m in messages) estimated_tokens total_chars // 3 ratio estimated_tokens / max_tokens print(f[context] estimated{estimated_tokens} max{max_tokens} ratio{ratio:.2f}) if ratio 0.75: print([context] 觸發(fā)壓縮閾值應(yīng)執(zhí)行 observation masking 或 summarization)跑幾輪工具調(diào)用后你應(yīng)該看到 ratio 在閾值附近被壓住而不是一路漲到 1.0 然后報錯。4.3 驗證記憶存取讓 Agent 執(zhí)行一次save_memory然后檢查./agent_memory目錄下是否生成了文件ls -la ./agent_memory cat ./agent_memory/*.json | head -50再觸發(fā)一次load_memory確認(rèn)模型能取回之前存的內(nèi)容。如果存了取不回檢查load_on_demand是否開啟以及記憶索引有沒有正確更新。4.4 驗證工具按需加載在config.toml里把schema_injection設(shè)為on_demand后系統(tǒng)提示里不應(yīng)該出現(xiàn)全部工具說明。發(fā)一個需要特定工具的任務(wù)觀察模型是否先調(diào)用search_tools再執(zhí)行目標(biāo)工具。如果模型直接說我沒有這個工具說明按需加載的搜索鏈路沒通。5. 本篇常見錯排查配置和驗證過程中有幾個錯誤反復(fù)出現(xiàn)我按現(xiàn)象、原因、處理列出來?，F(xiàn)象一模型忘記剛執(zhí)行過的步驟反復(fù)調(diào)用同一個工具。這是壓縮帶來的軌跡延長。壓縮把工具輸出替換成摘要后模型可能不記得已經(jīng)執(zhí)行過。處理辦法是保留最近若干輪的完整工具調(diào)用記錄keep_recent_turns不要設(shè)得太小同時在摘要里顯式標(biāo)注步驟 X 已完成?，F(xiàn)象二關(guān)鍵指令丟失Agent 繞過人類確認(rèn)。這是語境崩塌。壓縮算法把系統(tǒng)提示里的約束當(dāng)成了冗余信息。處理辦法是在壓縮配置里加保護(hù)規(guī)則把包含必須禁止確認(rèn)等關(guān)鍵詞的段落標(biāo)記為不可壓縮或者把關(guān)鍵約束單獨(dú)放在每輪都重新注入的位置?，F(xiàn)象三上下文長度沒降下來成本反而更高?？赡苁?summarization 調(diào)用本身消耗了大量 token而壓縮后的上下文又很快被新工具輸出填滿。檢查summarize_threshold是不是設(shè)得太低導(dǎo)致頻繁觸發(fā)總結(jié)。前期應(yīng)該優(yōu)先用 observation masking它不調(diào)用模型成本幾乎為零。現(xiàn)象四工具搜索返回空結(jié)果。檢查tools/registry.json的格式和search_endpoint配置。按需加載依賴工具注冊表的索引質(zhì)量如果工具描述寫得太模糊搜索匹配不到?，F(xiàn)象五請求返回 401 或 403。檢查TAOTOKEN_API_KEY環(huán)境變量是否在當(dāng)前 shell 生效以及base_url是否寫成了帶路徑的完整地址。API 基地址就是https://taotoken.net/api不要多加/v1之外的路徑。現(xiàn)象六子代理返回內(nèi)容過長主干上下文還是爆了。確認(rèn)return_summary_only為 true并且在子代理的提示里明確要求只返回結(jié)論不返回過程。如果子代理本身也在積累大量上下文給它單獨(dú)設(shè)一個更小的max_context_tokens。排查時如果拿不準(zhǔn)是接入層還是上下文層的問題可以先去接入文檔對照請求格式https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite6. 長期編碼與 Agent 場景的接入建議如果你打算把 Agent 跑在長期編碼任務(wù)上比如自動修 bug、持續(xù)重構(gòu)、多輪工具調(diào)用那么上下文工程的配置需要更激進(jìn)一些。我的建議是把max_context_tokens設(shè)得比模型上限低 20% 左右留出緩沖compression.strategy保持 hybridmemory.enabled必須開并且定期清理過期記憶文件避免硬盤上的 N 部分無限增長。對于需要長時間運(yùn)行的編碼 Agent可以考慮用 Coding Plan 來管理調(diào)用配額和通道https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite如果你在用 Claude Code 這類工具做 Agent 開發(fā)Anthropic 兼容通道的配置方式可以參考https://taotoken.net/claude-code-anthropic?utm_sourcetaotoken_aicg_blog_endutm_contentclaudecodeutm_campaignrewrite最后說一個我自己的習(xí)慣每次調(diào)整上下文策略后不要只看單輪結(jié)果跑一個至少 20 輪的工具調(diào)用任務(wù)觀察 token 曲線是不是平穩(wěn)。上下文工程的目標(biāo)不是讓某一輪變短而是讓整個任務(wù)周期內(nèi)的上下文保持可控。配置骨架給你了參數(shù)需要根據(jù)你的任務(wù)類型和模型表現(xiàn)慢慢調(diào)。先從keep_recent_turns: 6和summarize_threshold: 0.75這兩個值開始跑幾輪看日志再決定往哪個方向調(diào)。