教程人工智能大模型【免費(fèi)下載鏈接】ai-engineering-from-scratch-zhAgent工程師最全學(xué)習(xí)路徑 · 從零精通 AI 工程 · 20 階段 503 課 · 中文全量翻譯 配套站點(diǎn) 動(dòng)畫講解視頻 · 如何成為 AI Agent 工程師的修成指南項(xiàng)目地址https://gitcode.com/gh_mirrors/ai/ai-engineering-from-scratch-zh點(diǎn)擊查看免費(fèi)下載ai-engineering-from-scratch-zh是「Agent 工程師最全學(xué)習(xí)路徑」開源課程共 20 階段 503 課、中文全量翻譯。其中 階段 17基礎(chǔ)設(shè)施與生產(chǎn) 用 29 節(jié)課系統(tǒng)覆蓋 LLM 應(yīng)用生產(chǎn)化的三大核心難題——KV 緩存與推理經(jīng)濟(jì)學(xué)、AI 網(wǎng)關(guān)與FinOps 成本治理幫你把 Demo 變成能扛住真實(shí)流量的線上服務(wù)。 一句話總結(jié)從 Demo 到生產(chǎn)你需要的不是更大的模型而是一套緩存 網(wǎng)關(guān) 成本歸因的基礎(chǔ)設(shè)施。為什么 90% 的 LLM 應(yīng)用倒在了生產(chǎn)化這一步很多團(tuán)隊(duì)能寫出效果不錯(cuò)的 LLM 原型卻在上量時(shí)遇到三個(gè)經(jīng)典翻車現(xiàn)場(chǎng)GPU 內(nèi)存爆滿并發(fā)一高KV cache 占滿顯存請(qǐng)求被搶占后反復(fù)重算延遲雪崩供應(yīng)商限流 429OpenAI 一到高峰就限流沒有網(wǎng)關(guān)層的應(yīng)用直接報(bào)錯(cuò)給用戶賬單看不懂月賬單 $40,000卻說不清哪個(gè)租戶、哪個(gè)功能、哪類 token 花的錢。這 29 課就是逐個(gè)解決這些問題。按主題可以分成四組主題課程范圍解決什么問題推理平臺(tái)經(jīng)濟(jì)學(xué)01-12選平臺(tái)、選引擎、KV 緩存與局部性可觀測(cè)性與省錢技巧13-16監(jiān)控埋點(diǎn)、語義緩存、Batch API、模型路由生產(chǎn)化工程19-26AI 網(wǎng)關(guān)、灰度發(fā)布、壓測(cè)、安全合規(guī)成本與選型27-29FinOps 歸因、自托管選型、演示界面KV 緩存被低估的生產(chǎn)化第一杠桿生產(chǎn)級(jí) vLLMKV 卸載與緩存感知路由生產(chǎn)環(huán)境最常見的死法是「GPU HBM 100% 搶占風(fēng)暴」同一個(gè) 2K token 的 prompt 一分鐘被重算四次。階段 17 · 18生產(chǎn)級(jí)推理服務(wù)?！狵V 卸載與緩存感知路由 給出了標(biāo)準(zhǔn)答案vLLM production-stack把路由器、引擎、KV offload 與可觀測(cè)性接入同一個(gè) Kubernetes 部署KV Offloading Connector APIvLLM 0.9.00.11.0 起異步化讓 KV cache 可以「離開 GPU」卸載到 CPU DRAM、磁盤甚至對(duì)象存儲(chǔ)公開基準(zhǔn)16 塊 H100顯示當(dāng) KV cache 超過 HBM 容量時(shí)卸載方案顯著提升吞吐KV 占用低時(shí)各配置與基線持平開銷僅約 3-5%。判斷口訣很簡單HBM 壓力大就上卸載短上下文1K token就別開——傳輸時(shí)間比重新 prefill 還貴。緩存感知路由別讓輪詢負(fù)載均衡毀掉你的緩存階段 17 · 11多區(qū)域 LLM 服務(wù)與 KV Cache 局部性 指出一個(gè)反直覺的事實(shí)對(duì)帶緩存的推理來說輪詢負(fù)載均衡是主動(dòng)有害的。請(qǐng)求沒落到持有前綴的節(jié)點(diǎn)上就要付全額 prefill 成本——長 prompt 上 P50 約 800 ms而緩存命中只要約 80 ms。生產(chǎn)模式是用緩存感知路由器如 vLLM Router、llm-d消費(fèi) KV-cache 事件、按前綴哈希匹配路由。推理引擎三件套吞吐來自疊加不來自單點(diǎn)技巧階段 17 · 04推理服務(wù)引擎內(nèi)部機(jī)制 講清了生產(chǎn)引擎的三大默認(rèn)項(xiàng)PagedAttention把 KV cache 碎片率從 60-80% 壓到 4% 以下、continuous batching每次 decode 迭代間讓請(qǐng)求進(jìn)出批次、chunked prefill把 32K 長 prompt 切片保護(hù) TTFT 尾部。三者全開時(shí)一塊 H100 上 Llama 3.3 70B FP8 在 128 并發(fā)下可達(dá) 2,200-2,400 tok/s——是樸素 PyTorch 循環(huán)的 3-4 倍。AI 網(wǎng)關(guān)把供應(yīng)商故障隔離在用戶之外六大核心特性一個(gè)進(jìn)程收編所有供應(yīng)商你的產(chǎn)品同時(shí)調(diào) OpenAI、Anthropic 和自托管 Llama每家 SDK、錯(cuò)誤模型、限流方式都不同。階段 17 · 19AI 網(wǎng)關(guān)——LiteLLM、Portkey、Kong AI Gateway、Bifrost 給出的解法是在應(yīng)用與供應(yīng)商之間加一層網(wǎng)關(guān)統(tǒng)一提供六個(gè)能力供應(yīng)商路由——OpenAI / Anthropic / Gemini / 自托管藏在一個(gè) API 后面回退——OpenAI 429 時(shí)自動(dòng)切 Anthropic重試——指數(shù)退避、有界次數(shù)限流——按租戶、按 key、按模型分檔密鑰引用——憑證運(yùn)行時(shí)從 vault 拉取絕不進(jìn)應(yīng)用代碼可觀測(cè)性 Guardrails——OTel 埋點(diǎn)、成本歸因、PII 脫敏、越獄檢測(cè)。四大網(wǎng)關(guān)怎么選記住幾個(gè)數(shù)字即可網(wǎng)關(guān)關(guān)鍵數(shù)字適用場(chǎng)景LiteLLM約 2000 RPS 崩潰、8 GB 內(nèi)存Python 應(yīng)用、500 RPS、開發(fā)/原型Portkey20-40 ms 延遲開銷2026 年 3 月轉(zhuǎn) Apache 2.0受監(jiān)管行業(yè)需要 guardrails 捆綁Kong AI Gateway比 Portkey 快 228%、比 LiteLLM 快 859%1000 RPS、已用 Kong 的團(tuán)隊(duì)Bifrost / Cloudflare / Vercel邊緣 1-3 ms 開銷邊緣 JS 應(yīng)用、零運(yùn)維托管選擇邏輯延遲預(yù)算決定下限數(shù)據(jù)駐留決定上限。醫(yī)療金融默認(rèn)自托管LiteLLM/Portkey OSS/Kong消費(fèi)產(chǎn)品默認(rèn)托管混合部署是「受監(jiān)管租戶自托管其余走托管」。配套工程課網(wǎng)關(guān)不是孤立的這 29 課把網(wǎng)關(guān)放在完整鏈路里階段 17 · 13LLM 可觀測(cè)性 管埋點(diǎn)階段 17 · 20Shadow/Canary 漸進(jìn)發(fā)布 管安全換模型階段 17 · 22LLM API 壓測(cè) 管容量規(guī)劃階段 17 · 24混沌工程 管故障演練。生產(chǎn)里「可觀測(cè)性 路由 網(wǎng)關(guān)」本來就是同一層要挑一個(gè)三者都覆蓋的工具再小心地拼接。FinOpsLLM 時(shí)代的成本歸因完全變了傳統(tǒng) FinOps 為什么失靈云資源的 tag 能自動(dòng)傳播到賬單行項(xiàng)但LLM API 調(diào)用不自動(dòng)打標(biāo)——一次調(diào)用是一筆交易不是一項(xiàng)資產(chǎn)。階段 17 · 27LLM 的 FinOps——單位經(jīng)濟(jì)學(xué)與多租戶歸因 要求第一天就在調(diào)用點(diǎn)埋上三個(gè)歸因維度按用戶user_id——驅(qū)動(dòng)席位定價(jià)與重度用戶識(shí)別按任務(wù)task_idroute——驅(qū)動(dòng)功能優(yōu)先級(jí)與砍特性決策按租戶tenant_id——驅(qū)動(dòng)單位經(jīng)濟(jì)學(xué)與續(xù)約定價(jià)。同時(shí)把 token 拆成四層prompt40-60%、工具20-40%、記憶10-30%、響應(yīng)10-30%。四層裝進(jìn)一個(gè)桶優(yōu)化就變盲了。多租戶執(zhí)行階梯限流 → 花費(fèi)上限 → Kill Switch針對(duì)濫用租戶課程給出三檔防線限流按租戶設(shè) 2-3 倍預(yù)期峰值返回帶Retry-After的 429每日花費(fèi)上限設(shè)為合同上限的 1.5-3 倍觸發(fā)時(shí)收緊限流并告警客戶成功團(tuán)隊(duì)Kill switch花費(fèi) z-score 相對(duì)租戶基線 4時(shí)自動(dòng)暫停該租戶并呼叫 on-call。省錢杠桿可以疊加最優(yōu)能做到基線的 5-10%FinOps 不是事后審計(jì)而是把前 16 課的省錢技巧串起來語義緩存輸入便宜約 10 倍 Batch API5 折 模型路由降本 60% AI 網(wǎng)關(guān)重試與冗余。四根杠桿全疊成本可壓到樸素基線的約5-10%——但注意「$/M token」是供應(yīng)商話術(shù)真正的單位指標(biāo)是每解決一張工單、每生成一篇內(nèi)容的成本。學(xué)習(xí)路徑建議3 步走完生產(chǎn)化步驟課程產(chǎn)出① 懂引擎與緩存04 → 08 → 11 → 14 → 18能畫出 vLLM 服務(wù)棧與 KV 卸載拓?fù)洧?立網(wǎng)關(guān)與可觀測(cè)13 → 16 → 19 → 20 → 22選定網(wǎng)關(guān)并完成 Shadow 發(fā)布演練③ 上 FinOps 與安全23 → 25 → 26 → 27 → 28歸因 schema 執(zhí)行階梯 選型決策記錄每課都配有可運(yùn)行的模擬代碼例如 AI 網(wǎng)關(guān)課的回退路由模擬器、FinOps 執(zhí)行階梯模擬器可以直接在本地跑起來注入 429 錯(cuò)誤、觀察 kill switch 觸發(fā)過程。小結(jié)生產(chǎn)化的三個(gè)關(guān)鍵詞KV 緩存——它是顯存問題也是錢的問題卸載與局部性路由必須一起考慮 AI 網(wǎng)關(guān)——用一層抽象收編供應(yīng)商差異回退、限流、Guardrails 不再散落在業(yè)務(wù)代碼里 FinOps——第一天就埋user_id/task_id/tenant_id把成本綁到產(chǎn)品結(jié)果上而不是 token 單價(jià)上。按 階段 17 完整課程列表 順序?qū)W完這 29 課你就擁有了從 Demo 到生產(chǎn)的全套基礎(chǔ)設(shè)施判斷力——這正是 ai-engineering-from-scratch-zh 中「20 階段 503 課」修成路徑上最關(guān)鍵的一環(huán)。贊分享教程人工智能大模型【免費(fèi)下載鏈接】ai-engineering-from-scratch-zhAgent工程師最全學(xué)習(xí)路徑 · 從零精通 AI 工程 · 20 階段 503 課 · 中文全量翻譯 配套站點(diǎn) 動(dòng)畫講解視頻 · 如何成為 AI Agent 工程師的修成指南項(xiàng)目地址https://gitcode.com/gh_mirrors/ai/ai-engineering-from-scratch-zh點(diǎn)擊查看免費(fèi)下載相關(guān)推薦終極指南Qwen3模型KV緩存優(yōu)化技術(shù)詳解——從零開始構(gòu)建高性能LLM終極指南Qwen3模型KV緩存優(yōu)化技術(shù)詳解——從零開始構(gòu)建高性能LLM LLMs from scratch項(xiàng)目是一個(gè)從零開始構(gòu)建大型語言模型LLM的實(shí)踐指示例工程大模型人工智能Mooncake Store重新定義LLM推理的分布式KV緩存基礎(chǔ)設(shè)施Mooncake Store重新定義LLM推理的分布式KV緩存基礎(chǔ)設(shè)施 在大規(guī)模語言模型推理的戰(zhàn)場(chǎng)上 KVCache存儲(chǔ)效率 正成為決定勝負(fù)的關(guān)鍵因素。傳統(tǒng)人工智能大模型模型推理服務(wù)后端Llama3-from-scratch數(shù)學(xué)基礎(chǔ)三角函數(shù)在AI中的應(yīng)用Llama3 from scratch數(shù)學(xué)基礎(chǔ)三角函數(shù)在AI中的應(yīng)用 引言從矩陣乘法到三角函數(shù)革命 你還在認(rèn)為AI只是矩陣乘法的堆疊嗎當(dāng)大多數(shù)開發(fā)者還在關(guān)示例工程大模型人工智能創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考