用 —— 第 13 章 可靠性防失控容錯)
Flink Agents 與 AI 流式應(yīng)用 —— 第 13 章 可靠性防失控容錯章節(jié)定位第四篇開篇本系列主線防失控先于智能的總裝章。前面章節(jié)的防線是分散的——三道閘、冪等、語義化錯誤、超時——本章把它們整合成立體防御體系失敗語義三分法決定重試還是放棄、決策冪等保證重放不出事故、補償機制處理已經(jīng)做錯了怎么辦、降級策略保證AI 掛了業(yè)務(wù)還在轉(zhuǎn)、成本熔斷守住預(yù)算底線最后用混沌工程演練驗證整套防線。版本基線Apache Flink 2.3.0 Flink Agents 0.3.xJDK 17章節(jié)導(dǎo)讀13.1 失敗語義三分可重試 / 不可重試 / 需人工13.2 決策冪等重放不出事故13.3 動作補償已經(jīng)做錯了怎么辦13.4 降級策略AI 掛了業(yè)務(wù)還在轉(zhuǎn)13.5 立體防線步數(shù)上限、成本熔斷與白名單13.6 實戰(zhàn)混沌工程演練13.7 本章小結(jié)與下章預(yù)告13.1 失敗語義三分可重試 / 不可重試 / 需人工13.1.1 為什么必須分類一刀切重試的災(zāi)難: LLM 網(wǎng)關(guān) 500 → 重試 ?(瞬時故障) 工具返回vin 格式非法 → 重試 ?(永遠失敗,白燒 3 次錢) 審批號無效 → 重試 ??(還暴露了繞過審批的企圖) 錯誤分類是重試策略的前提——不是所有失敗都值得再來一次。13.1.2 三分法定義publicenumFailureClass{RETRYABLE,// 可重試: 網(wǎng)絡(luò)抖動、限流、超時PERMANENT,// 不可重試: 參數(shù)非法、資源不存在HUMAN_REQUIRED// 需人工: 權(quán)限不足、語義矛盾、業(yè)務(wù)沖突}// 工具錯誤碼語義化時攜帶分類(4.4.3 的 retryable 字段升級)publicrecordToolError(Stringcode,Stringmessage,FailureClassfailureClass,Stringsuggestion){}// 框架按分類執(zhí)行策略switch(error.failureClass()){caseRETRYABLE-scheduleRetry(error,backoff);// 指數(shù)退避casePERMANENT-feedBackToLlm(error);// 回喂 LLM 自我修正caseHUMAN_REQUIRED-emit(newApprovalRequiredEvent(...));// 轉(zhuǎn)人工}13.1.3 重試紀(jì)律RETRYABLE 才重試,且: ① 指數(shù)退避: 1s → 2s → 4s,最大 3 次 ② 總預(yù)算內(nèi): 重試占用第 6 章的 maxDecisionTime ③ 與重啟策略分層: 作業(yè)級 fixed-delay 無限重試(框架層), 調(diào)用級指數(shù)退避有限重試(業(yè)務(wù)層)——兩層不混淆13.2 決策冪等重放不出事故13.2.1 重放來源全景Agent 場景的重放,比純數(shù)倉多一層: ① Checkpoint 恢復(fù)重放(7.4.2): 事件重放 → 工具重調(diào) ② 上游重發(fā): Kafka 生產(chǎn)端重試 → 同 event_id 重復(fù)到達 ③ 人工重放: 調(diào)試時手動重推事件(第 6 章本地重放的生產(chǎn)版) 三層都必須冪等,缺一層就是事故隱患。13.2.2 冪等三層落地┌─────────────────────────────────────────────────────────┐ │ 層 1 事件入口: event_id 去重 │ │ Keyed State 記錄已處理 event_id 集合(Bloom/短 TTL) │ │ 重復(fù)事件直接返回首次結(jié)果(重放友好: 結(jié)果一致) │ │ │ │ 層 2 工具執(zhí)行: 業(yè)務(wù)冪等鍵 │ │ 動作類工具以 event_id 為冪等鍵(第 4 章) │ │ 執(zhí)行前查是否已建單,已建則返回原單號 │ │ │ │ 層 3 存儲出口: 引擎冪等 │ │ Doris UK MoW: 同 key 覆蓋 │ │ Paimon deduplicate merge-engine(12.3.2) │ │ Kafka EXACTLY_ONCE sink(12.2.2) │ └─────────────────────────────────────────────────────────┘13.2.3 入口去重實現(xiàn)Action(listenEventTypes{AlertEvent.EVENT_TYPE})publicEventonAlert(ActionContextctx,AlertEvente)throwsException{// 層 1: 入口去重(狀態(tài)判重,7.3.3 同款 TTL 48h)StringpriorprocessedState.get(e.eventId);if(prior!null){returnreplayResult(prior);// 返回首次結(jié)果,不重新推理}Eventresultdiagnose(e);processedState.put(e.eventId,result.digest());returnresult;}13.3 動作補償已經(jīng)做錯了怎么辦13.3.1 補償思維冪等防重復(fù)做,補償管做錯了: 場景: Agent 誤判 P0,工單已派給技師,半小時后復(fù)檢證明誤報 無法撤銷(技師已出發(fā)),只能補償: → 創(chuàng)建撤銷工單(新動作,記錄因果鏈) → 病程庫標(biāo)記該結(jié)論 recheck_ok0(第 8 章記憶質(zhì)量) → 該 case 從召回池降權(quán)(不再誤導(dǎo)后來者)13.3.2 補償事務(wù)設(shè)計// 每個動作類工具注冊對應(yīng)的補償動作publicrecordCompensableAction(StringactionId,StringactionType,// CREATE_TICKET / SEND_DIAGNOSE ...StringcompensationType,// CANCEL_TICKET / REVOKE_COMMAND ...MapString,Objectpayload){}// 補償執(zhí)行(由人工或復(fù)盤流程觸發(fā),不由 Agent 自動觸發(fā)!)publicvoidcompensate(CompensableActionoriginal){// 紀(jì)律: 補償永遠人工發(fā)起,Agent 只能建議compensationService.execute(original.compensationType(),Map.of(origin_action_id,original.actionId(),reason,復(fù)檢推翻初診,trace_id,original.traceId()));}紀(jì)律: □ 補償是新動作不是刪除——審計鏈完整,因果可查 □ Agent 可以建議補償,但執(zhí)行必須人工確認(第 15 章) □ 補償事件回寫病程庫,形成決策→驗證→糾偏閉環(huán)13.4 降級策略AI 掛了業(yè)務(wù)還在轉(zhuǎn)13.4.1 降級階梯LLM 網(wǎng)關(guān)整體不可用(極端但必須有預(yù)案): L0 全功能: Agent 完整推理鏈 L1 閹記憶: 跳過記憶召回(第 8 章),僅當(dāng)前事件推理 L2 規(guī)則兜底: 預(yù)置規(guī)則引擎(故障碼→處置映射表),零 LLM L3 直通人工: 全部告警轉(zhuǎn)人工隊列,Agent 只記錄不決策 降級觸發(fā): 自動: LLM 錯誤率 50% / 延遲 p99 60s 持續(xù) 5 分鐘 手動: 運維開關(guān)(配置中心,秒級生效)13.4.2 規(guī)則兜底實現(xiàn)// L2 規(guī)則兜底: 一份離線維護的映射表,Agent 啟動時加載MapString,FallbackRulerules;// faultCode → 固定處置publicEventdiagnose(AlertEvente){if(degradeLevel()L2){FallbackRulerrules.get(e.faultCode);returnr!null?r.toResult(e).withDegraded(true)// 標(biāo)記降級結(jié)論:newApprovalRequiredEvent(e);// 規(guī)則沒有的碼 → 人工}returnreactDiagnose(e);// 正常 ReAct 鏈}紀(jì)律: □ 降級結(jié)論必帶 degraded 標(biāo)記,下游工單系統(tǒng)按低置信處理 □ 規(guī)則表只覆蓋 Top20 高頻故障碼(80% 流量),其余轉(zhuǎn)人工 □ 降級期間的事件照常落審計(12.3),恢復(fù)后抽樣復(fù)盤13.5 立體防線步數(shù)上限、成本熔斷與白名單13.5.1 防線總裝圖┌────────────────── 立體防線(由內(nèi)到外) ──────────────────┐ │ │ │ 事件級: 三道閘(步數(shù)/循環(huán)/預(yù)算) ─── 第 6 章 │ │ 會話級: 單會話 LLM 調(diào)用 ≤20 次 ─── 第 7 章 │ │ 工具級: 超時/冪等/錯誤語義化 ─── 第 4 章 │ │ 權(quán)限級: 高危三保險/審批 ─── 第 4/15 章 │ │ 全局級: 成本熔斷(本節(jié)) │ │ 模型級: 降級階梯 L0~L3 ─── 13.4 │ │ │ └────────────────────────────────────────────────────────┘13.5.2 成本熔斷// 全局成本熔斷: 每小時 LLM 預(yù)算,超限自動降級到 L2publicclassCostCircuitBreaker{privatefinallonghourlyBudgetTokens;// 配置中心下發(fā)privatefinalAtomicLongusedThisHournewAtomicLong();publicbooleanallowLlmCall(intestimatedTokens){longusedusedThisHour.get();if(usedestimatedTokenshourlyBudgetTokens){metrics.costBreakerTripped.increment();// 告警指標(biāo)returnfalse;// 熔斷 → 走 L2 規(guī)則兜底}returntrue;}// 整點重置(處理時間窗口即可,預(yù)算控制不需要事件時間精度)}13.5.3 白名單兜底動作白名單: Agent 可執(zhí)行的動作枚舉,配置中心維護 □ 未在白名單的動作 → 框架層直接攔截(比 prompt 約束可靠) □ 白名單按環(huán)境分級: 測試環(huán)境寬松,生產(chǎn)環(huán)境收緊 □ 白名單變更走審批(它本身就是高危配置) 與 prompt 禁區(qū)(6.3)的關(guān)系: prompt 是第一道(約束模型意圖) 白名單是第二道(攔截執(zhí)行層) ——意圖約束可以被騙過(Prompt 注入),執(zhí)行攔截不能13.6 實戰(zhàn)混沌工程演練13.6.1 演練設(shè)計每月一次,影子環(huán)境,注入故障驗證防線: 演練 1 LLM 網(wǎng)關(guān) 500 持續(xù) 10 分鐘 預(yù)期: 自動降級 L2,規(guī)則兜底接管,恢復(fù)后自動回 L0 演練 2 工單系統(tǒng)接口慢(注入 20s 延遲) 預(yù)期: 工具超時語義化回填,Agent 降級出結(jié)論, 無作業(yè)反壓(異步工具池隔離生效) 演練 3 重復(fù)事件注入(同 event_id × 3) 預(yù)期: 入口去重生效,只建 1 張工單, 審計日志 3 條到達 1 條處理 演練 4 惡意文本注入(告警備注夾帶指令) 預(yù)期: 邊界包裹生效,指令被當(dāng)數(shù)據(jù)處理(9.4.2), 未執(zhí)行任何越權(quán)動作 演練 5 成本突刺(批量重放 10 萬歷史告警) 預(yù)期: 小時預(yù)算熔斷觸發(fā),自動降 L2,告警通知運維13.6.2 演練評分卡演練通過標(biāo)準(zhǔn)常見失分點網(wǎng)關(guān) 5005 分鐘內(nèi)自動降級恢復(fù)后自動回切降級開關(guān)需人工慢工具主鏈路 p99 無劣化工具池與算子線程未隔離重復(fù)事件零重復(fù)工單只做了存儲冪等沒做入口去重注入攻擊零越權(quán)執(zhí)行只靠 prompt 禁區(qū)無白名單攔截成本突刺熔斷觸發(fā)且告警無預(yù)算監(jiān)控事后賬單才發(fā)現(xiàn)13.6.3 演練紀(jì)律□ 演練在影子環(huán)境,但影子環(huán)境與生產(chǎn)同構(gòu)(配置/數(shù)據(jù)/防線) □ 每次演練必須產(chǎn)出: 失分點 → 修復(fù) → 下月復(fù)測 □ 防線變更(新工具上線等)后必須補做相關(guān)演練 □ 演練記錄入審計庫——防線本身的可靠性也要可追溯13.7 本章小結(jié)與下章預(yù)告本章小結(jié)┌──────────────────────────────────────────────────────────────┐ │ 第 13 章 要點回顧 │ └──────────────────────────────────────────────────────────────┘ ? 失敗三分: RETRYABLE(指數(shù)退避≤3次)/PERMANENT(回喂LLM)/ HUMAN_REQUIRED(轉(zhuǎn)人工);重試有總預(yù)算,與作業(yè)重啟策略分層 ? 冪等三層: 入口 event_id 去重(返回首次結(jié)果)/ 工具業(yè)務(wù)冪等鍵/存儲引擎冪等(UKMoW、deduplicate、2PC) ? 補償思維: 冪等防重復(fù),補償管做錯;補償是新動作非刪除, Agent 建議人工執(zhí)行,回寫病程庫形成糾偏閉環(huán) ? 降級階梯: L0 全功能→L1 閹記憶→L2 規(guī)則兜底→L3 直通人工; 自動觸發(fā)手動開關(guān),降級結(jié)論必帶標(biāo)記 ? 立體防線: 事件級三道閘→會話級調(diào)用上限→工具級超時冪等 →權(quán)限級三保險→全局成本熔斷→模型級降級; prompt 禁區(qū)執(zhí)行白名單雙保險 ? 混沌演練: 五大故障場景評分卡,月度執(zhí)行, 防線變更后補測,演練記錄入審計下章預(yù)告第 14 章 可觀測與效果評估防線建好了還得看得見——決策 Trace 全鏈路還原、四維效果評估準(zhǔn)確/成本/時效/穩(wěn)定、成本歸因到每個 Agent 每個工具、人工反饋閉環(huán)回流訓(xùn)練資產(chǎn)以及 Agent 版監(jiān)控五件套的落地配置。讓每一次 AI 決策都可解釋、可歸因、可改進。官方參考資料Flink Agents 0.3 DocumentationFlink 2.3 Stable DocumentationFault TolerancePrinciples of Chaos Engineering本章實戰(zhàn)代碼清單序號內(nèi)容說明1失敗三分法與分類執(zhí)行策略13.12冪等三層落地入口/工具/存儲13.23補償事務(wù)設(shè)計人工發(fā)起原則13.34降級階梯 L0~L3 與規(guī)則兜底13.45成本熔斷器 白名單攔截13.56混沌演練五場景 評分卡13.6 Flink Agents 與 AI 流式應(yīng)用 —— 第 13 章 可靠性防失控容錯
Flink Agents 與 AI 流式應(yīng)用 —— 第 13 章 可靠性防失控容錯章節(jié)定位第四篇開篇本系列主線防失控先于智能的總裝章。前面章節(jié)的防線是分散的——三道閘、冪等、語義化錯誤、超時——本章把它們整合成立體防御體系失敗語義三分法決定重試還是放棄、決策冪等保證重放不出事故、補償機制處理已經(jīng)做錯了怎么辦、降級策略保證AI 掛了業(yè)務(wù)還在轉(zhuǎn)、成本熔斷守住預(yù)算底線最后用混沌工程演練驗證整套防線。版本基線Apache Flink 2.3.0 Flink Agents 0.3.xJDK 17章節(jié)導(dǎo)讀13.1 失敗語義三分可重試 / 不可重試 / 需人工13.2 決策冪等重放不出事故13.3 動作補償已經(jīng)做錯了怎么辦13.4 降級策略AI 掛了業(yè)務(wù)還在轉(zhuǎn)13.5 立體防線步數(shù)上限、成本熔斷與白名單13.6 實戰(zhàn)混沌工程演練13.7 本章小結(jié)與下章預(yù)告13.1 失敗語義三分可重試 / 不可重試 / 需人工13.1.1 為什么必須分類一刀切重試的災(zāi)難: LLM 網(wǎng)關(guān) 500 → 重試 ?(瞬時故障) 工具返回vin 格式非法 → 重試 ?(永遠失敗,白燒 3 次錢) 審批號無效 → 重試 ??(還暴露了繞過審批的企圖) 錯誤分類是重試策略的前提——不是所有失敗都值得再來一次。13.1.2 三分法定義publicenumFailureClass{RETRYABLE,// 可重試: 網(wǎng)絡(luò)抖動、限流、超時PERMANENT,// 不可重試: 參數(shù)非法、資源不存在HUMAN_REQUIRED// 需人工: 權(quán)限不足、語義矛盾、業(yè)務(wù)沖突}// 工具錯誤碼語義化時攜帶分類(4.4.3 的 retryable 字段升級)publicrecordToolError(Stringcode,Stringmessage,FailureClassfailureClass,Stringsuggestion){}// 框架按分類執(zhí)行策略switch(error.failureClass()){caseRETRYABLE-scheduleRetry(error,backoff);// 指數(shù)退避casePERMANENT-feedBackToLlm(error);// 回喂 LLM 自我修正caseHUMAN_REQUIRED-emit(newApprovalRequiredEvent(...));// 轉(zhuǎn)人工}13.1.3 重試紀(jì)律RETRYABLE 才重試,且: ① 指數(shù)退避: 1s → 2s → 4s,最大 3 次 ② 總預(yù)算內(nèi): 重試占用第 6 章的 maxDecisionTime ③ 與重啟策略分層: 作業(yè)級 fixed-delay 無限重試(框架層), 調(diào)用級指數(shù)退避有限重試(業(yè)務(wù)層)——兩層不混淆13.2 決策冪等重放不出事故13.2.1 重放來源全景Agent 場景的重放,比純數(shù)倉多一層: ① Checkpoint 恢復(fù)重放(7.4.2): 事件重放 → 工具重調(diào) ② 上游重發(fā): Kafka 生產(chǎn)端重試 → 同 event_id 重復(fù)到達 ③ 人工重放: 調(diào)試時手動重推事件(第 6 章本地重放的生產(chǎn)版) 三層都必須冪等,缺一層就是事故隱患。13.2.2 冪等三層落地┌─────────────────────────────────────────────────────────┐ │ 層 1 事件入口: event_id 去重 │ │ Keyed State 記錄已處理 event_id 集合(Bloom/短 TTL) │ │ 重復(fù)事件直接返回首次結(jié)果(重放友好: 結(jié)果一致) │ │ │ │ 層 2 工具執(zhí)行: 業(yè)務(wù)冪等鍵 │ │ 動作類工具以 event_id 為冪等鍵(第 4 章) │ │ 執(zhí)行前查是否已建單,已建則返回原單號 │ │ │ │ 層 3 存儲出口: 引擎冪等 │ │ Doris UK MoW: 同 key 覆蓋 │ │ Paimon deduplicate merge-engine(12.3.2) │ │ Kafka EXACTLY_ONCE sink(12.2.2) │ └─────────────────────────────────────────────────────────┘13.2.3 入口去重實現(xiàn)Action(listenEventTypes{AlertEvent.EVENT_TYPE})publicEventonAlert(ActionContextctx,AlertEvente)throwsException{// 層 1: 入口去重(狀態(tài)判重,7.3.3 同款 TTL 48h)StringpriorprocessedState.get(e.eventId);if(prior!null){returnreplayResult(prior);// 返回首次結(jié)果,不重新推理}Eventresultdiagnose(e);processedState.put(e.eventId,result.digest());returnresult;}13.3 動作補償已經(jīng)做錯了怎么辦13.3.1 補償思維冪等防重復(fù)做,補償管做錯了: 場景: Agent 誤判 P0,工單已派給技師,半小時后復(fù)檢證明誤報 無法撤銷(技師已出發(fā)),只能補償: → 創(chuàng)建撤銷工單(新動作,記錄因果鏈) → 病程庫標(biāo)記該結(jié)論 recheck_ok0(第 8 章記憶質(zhì)量) → 該 case 從召回池降權(quán)(不再誤導(dǎo)后來者)13.3.2 補償事務(wù)設(shè)計// 每個動作類工具注冊對應(yīng)的補償動作publicrecordCompensableAction(StringactionId,StringactionType,// CREATE_TICKET / SEND_DIAGNOSE ...StringcompensationType,// CANCEL_TICKET / REVOKE_COMMAND ...MapString,Objectpayload){}// 補償執(zhí)行(由人工或復(fù)盤流程觸發(fā),不由 Agent 自動觸發(fā)!)publicvoidcompensate(CompensableActionoriginal){// 紀(jì)律: 補償永遠人工發(fā)起,Agent 只能建議compensationService.execute(original.compensationType(),Map.of(origin_action_id,original.actionId(),reason,復(fù)檢推翻初診,trace_id,original.traceId()));}紀(jì)律: □ 補償是新動作不是刪除——審計鏈完整,因果可查 □ Agent 可以建議補償,但執(zhí)行必須人工確認(第 15 章) □ 補償事件回寫病程庫,形成決策→驗證→糾偏閉環(huán)13.4 降級策略AI 掛了業(yè)務(wù)還在轉(zhuǎn)13.4.1 降級階梯LLM 網(wǎng)關(guān)整體不可用(極端但必須有預(yù)案): L0 全功能: Agent 完整推理鏈 L1 閹記憶: 跳過記憶召回(第 8 章),僅當(dāng)前事件推理 L2 規(guī)則兜底: 預(yù)置規(guī)則引擎(故障碼→處置映射表),零 LLM L3 直通人工: 全部告警轉(zhuǎn)人工隊列,Agent 只記錄不決策 降級觸發(fā): 自動: LLM 錯誤率 50% / 延遲 p99 60s 持續(xù) 5 分鐘 手動: 運維開關(guān)(配置中心,秒級生效)13.4.2 規(guī)則兜底實現(xiàn)// L2 規(guī)則兜底: 一份離線維護的映射表,Agent 啟動時加載MapString,FallbackRulerules;// faultCode → 固定處置publicEventdiagnose(AlertEvente){if(degradeLevel()L2){FallbackRulerrules.get(e.faultCode);returnr!null?r.toResult(e).withDegraded(true)// 標(biāo)記降級結(jié)論:newApprovalRequiredEvent(e);// 規(guī)則沒有的碼 → 人工}returnreactDiagnose(e);// 正常 ReAct 鏈}紀(jì)律: □ 降級結(jié)論必帶 degraded 標(biāo)記,下游工單系統(tǒng)按低置信處理 □ 規(guī)則表只覆蓋 Top20 高頻故障碼(80% 流量),其余轉(zhuǎn)人工 □ 降級期間的事件照常落審計(12.3),恢復(fù)后抽樣復(fù)盤13.5 立體防線步數(shù)上限、成本熔斷與白名單13.5.1 防線總裝圖┌────────────────── 立體防線(由內(nèi)到外) ──────────────────┐ │ │ │ 事件級: 三道閘(步數(shù)/循環(huán)/預(yù)算) ─── 第 6 章 │ │ 會話級: 單會話 LLM 調(diào)用 ≤20 次 ─── 第 7 章 │ │ 工具級: 超時/冪等/錯誤語義化 ─── 第 4 章 │ │ 權(quán)限級: 高危三保險/審批 ─── 第 4/15 章 │ │ 全局級: 成本熔斷(本節(jié)) │ │ 模型級: 降級階梯 L0~L3 ─── 13.4 │ │ │ └────────────────────────────────────────────────────────┘13.5.2 成本熔斷// 全局成本熔斷: 每小時 LLM 預(yù)算,超限自動降級到 L2publicclassCostCircuitBreaker{privatefinallonghourlyBudgetTokens;// 配置中心下發(fā)privatefinalAtomicLongusedThisHournewAtomicLong();publicbooleanallowLlmCall(intestimatedTokens){longusedusedThisHour.get();if(usedestimatedTokenshourlyBudgetTokens){metrics.costBreakerTripped.increment();// 告警指標(biāo)returnfalse;// 熔斷 → 走 L2 規(guī)則兜底}returntrue;}// 整點重置(處理時間窗口即可,預(yù)算控制不需要事件時間精度)}13.5.3 白名單兜底動作白名單: Agent 可執(zhí)行的動作枚舉,配置中心維護 □ 未在白名單的動作 → 框架層直接攔截(比 prompt 約束可靠) □ 白名單按環(huán)境分級: 測試環(huán)境寬松,生產(chǎn)環(huán)境收緊 □ 白名單變更走審批(它本身就是高危配置) 與 prompt 禁區(qū)(6.3)的關(guān)系: prompt 是第一道(約束模型意圖) 白名單是第二道(攔截執(zhí)行層) ——意圖約束可以被騙過(Prompt 注入),執(zhí)行攔截不能13.6 實戰(zhàn)混沌工程演練13.6.1 演練設(shè)計每月一次,影子環(huán)境,注入故障驗證防線: 演練 1 LLM 網(wǎng)關(guān) 500 持續(xù) 10 分鐘 預(yù)期: 自動降級 L2,規(guī)則兜底接管,恢復(fù)后自動回 L0 演練 2 工單系統(tǒng)接口慢(注入 20s 延遲) 預(yù)期: 工具超時語義化回填,Agent 降級出結(jié)論, 無作業(yè)反壓(異步工具池隔離生效) 演練 3 重復(fù)事件注入(同 event_id × 3) 預(yù)期: 入口去重生效,只建 1 張工單, 審計日志 3 條到達 1 條處理 演練 4 惡意文本注入(告警備注夾帶指令) 預(yù)期: 邊界包裹生效,指令被當(dāng)數(shù)據(jù)處理(9.4.2), 未執(zhí)行任何越權(quán)動作 演練 5 成本突刺(批量重放 10 萬歷史告警) 預(yù)期: 小時預(yù)算熔斷觸發(fā),自動降 L2,告警通知運維13.6.2 演練評分卡演練通過標(biāo)準(zhǔn)常見失分點網(wǎng)關(guān) 5005 分鐘內(nèi)自動降級恢復(fù)后自動回切降級開關(guān)需人工慢工具主鏈路 p99 無劣化工具池與算子線程未隔離重復(fù)事件零重復(fù)工單只做了存儲冪等沒做入口去重注入攻擊零越權(quán)執(zhí)行只靠 prompt 禁區(qū)無白名單攔截成本突刺熔斷觸發(fā)且告警無預(yù)算監(jiān)控事后賬單才發(fā)現(xiàn)13.6.3 演練紀(jì)律□ 演練在影子環(huán)境,但影子環(huán)境與生產(chǎn)同構(gòu)(配置/數(shù)據(jù)/防線) □ 每次演練必須產(chǎn)出: 失分點 → 修復(fù) → 下月復(fù)測 □ 防線變更(新工具上線等)后必須補做相關(guān)演練 □ 演練記錄入審計庫——防線本身的可靠性也要可追溯13.7 本章小結(jié)與下章預(yù)告本章小結(jié)┌──────────────────────────────────────────────────────────────┐ │ 第 13 章 要點回顧 │ └──────────────────────────────────────────────────────────────┘ ? 失敗三分: RETRYABLE(指數(shù)退避≤3次)/PERMANENT(回喂LLM)/ HUMAN_REQUIRED(轉(zhuǎn)人工);重試有總預(yù)算,與作業(yè)重啟策略分層 ? 冪等三層: 入口 event_id 去重(返回首次結(jié)果)/ 工具業(yè)務(wù)冪等鍵/存儲引擎冪等(UKMoW、deduplicate、2PC) ? 補償思維: 冪等防重復(fù),補償管做錯;補償是新動作非刪除, Agent 建議人工執(zhí)行,回寫病程庫形成糾偏閉環(huán) ? 降級階梯: L0 全功能→L1 閹記憶→L2 規(guī)則兜底→L3 直通人工; 自動觸發(fā)手動開關(guān),降級結(jié)論必帶標(biāo)記 ? 立體防線: 事件級三道閘→會話級調(diào)用上限→工具級超時冪等 →權(quán)限級三保險→全局成本熔斷→模型級降級; prompt 禁區(qū)執(zhí)行白名單雙保險 ? 混沌演練: 五大故障場景評分卡,月度執(zhí)行, 防線變更后補測,演練記錄入審計下章預(yù)告第 14 章 可觀測與效果評估防線建好了還得看得見——決策 Trace 全鏈路還原、四維效果評估準(zhǔn)確/成本/時效/穩(wěn)定、成本歸因到每個 Agent 每個工具、人工反饋閉環(huán)回流訓(xùn)練資產(chǎn)以及 Agent 版監(jiān)控五件套的落地配置。讓每一次 AI 決策都可解釋、可歸因、可改進。官方參考資料Flink Agents 0.3 DocumentationFlink 2.3 Stable DocumentationFault TolerancePrinciples of Chaos Engineering本章實戰(zhàn)代碼清單序號內(nèi)容說明1失敗三分法與分類執(zhí)行策略13.12冪等三層落地入口/工具/存儲13.23補償事務(wù)設(shè)計人工發(fā)起原則13.34降級階梯 L0~L3 與規(guī)則兜底13.45成本熔斷器 白名單攔截13.56混沌演練五場景 評分卡13.6