1. 半年自學(xué)AI應(yīng)用開發(fā)我卡在了“能跑通”和“能交付”之間去年年初我給自己定了個(gè)目標(biāo)用半年時(shí)間自學(xué)AI應(yīng)用開發(fā)爭(zhēng)取能獨(dú)立做出一個(gè)能拿得出手的項(xiàng)目。當(dāng)時(shí)我的底氣來(lái)自哪里一是網(wǎng)上教程鋪天蓋地從大模型API調(diào)用到提示詞工程再到RAG、Agent幾乎每個(gè)環(huán)節(jié)都能找到免費(fèi)或低價(jià)的課程二是我本身有Java后端的基礎(chǔ)Spring Boot那套東西玩了好幾年覺得“AI應(yīng)用開發(fā)”無(wú)非就是調(diào)個(gè)接口、拼個(gè)提示詞、再套個(gè)前端頁(yè)面的事。半年下來(lái)我確實(shí)做出了幾個(gè)能跑通的小Demo一個(gè)基于大模型API的智能問答頁(yè)面一個(gè)用向量數(shù)據(jù)庫(kù)做的文檔檢索工具還有一個(gè)能自動(dòng)抓取網(wǎng)頁(yè)內(nèi)容并生成摘要的小腳本。但當(dāng)我試圖把這些東西整合成一個(gè)“能交付”的項(xiàng)目時(shí)問題就全冒出來(lái)了。響應(yīng)速度慢得讓人抓狂多輪對(duì)話的上下文管理一團(tuán)糟提示詞稍微改幾個(gè)字輸出結(jié)果就天差地別更別提什么并發(fā)、限流、成本控制了。我意識(shí)到自己陷入了一個(gè)典型的“教程陷阱”——每個(gè)知識(shí)點(diǎn)都懂一點(diǎn)但串不起來(lái)更不知道生產(chǎn)環(huán)境里到底該怎么設(shè)計(jì)。這就是我為什么在自學(xué)半年后還是報(bào)了一個(gè)AI應(yīng)用開發(fā)的訓(xùn)練營(yíng)。不是因?yàn)槲覒幸膊皇且驗(yàn)樽詫W(xué)能力差而是因?yàn)椤澳芘芡ā焙汀澳芙桓丁敝g隔著一條巨大的鴻溝。這條鴻溝里藏著太多教程不會(huì)講的細(xì)節(jié)模型選型的權(quán)衡邏輯、提示詞工程的系統(tǒng)化方法、RAG架構(gòu)中檢索與生成的配合策略、Agent的任務(wù)分解與工具調(diào)用機(jī)制以及最關(guān)鍵的——如何用工程化的思維把這一切組裝成一個(gè)穩(wěn)定、可維護(hù)、可擴(kuò)展的應(yīng)用。這篇文章不是要?jiǎng)袼腥硕既?bào)班而是想把我這半年踩過的坑、想明白的事、以及報(bào)班后真正學(xué)到的東西原原本本地分享出來(lái)。如果你也在自學(xué)AI應(yīng)用開發(fā)或者正在猶豫要不要系統(tǒng)化學(xué)習(xí)希望我的經(jīng)歷能幫你少走一些彎路。接下來(lái)我會(huì)從自學(xué)過程中遇到的具體瓶頸講起然后拆解AI應(yīng)用開發(fā)到底需要掌握哪些核心能力再對(duì)比自學(xué)和系統(tǒng)化學(xué)習(xí)的差異最后給出一些不管報(bào)不報(bào)班都用得上的實(shí)操建議。2. 自學(xué)半年里那些教程不會(huì)告訴你的五個(gè)真實(shí)瓶頸2.1 瓶頸一提示詞工程不是“會(huì)寫提示詞”而是“會(huì)設(shè)計(jì)交互流程”剛開始自學(xué)的時(shí)候我以為提示詞工程就是學(xué)幾個(gè)模板比如“你是一個(gè)專業(yè)的XX助手請(qǐng)根據(jù)以下內(nèi)容回答用戶問題”。網(wǎng)上這類模板一抓一大把我收藏了幾十個(gè)覺得這就是提示詞工程的全部了。但真正做項(xiàng)目的時(shí)候才發(fā)現(xiàn)提示詞工程的核心根本不是寫一句漂亮的話而是設(shè)計(jì)一套完整的交互流程。舉個(gè)例子我做的那個(gè)智能問答頁(yè)面最初的設(shè)計(jì)是用戶輸入問題直接把問題拼接到提示詞里發(fā)給模型。結(jié)果就是模型經(jīng)常答非所問或者給出一些泛泛而談的內(nèi)容。后來(lái)我才明白問題出在缺少“意圖識(shí)別”和“上下文管理”這兩個(gè)環(huán)節(jié)。正確的做法應(yīng)該是先讓模型判斷用戶問題的類型是事實(shí)查詢、觀點(diǎn)咨詢還是閑聊然后根據(jù)類型選擇不同的提示詞模板再結(jié)合歷史對(duì)話記錄和檢索到的文檔內(nèi)容最后才生成回答。這一整套流程才是提示詞工程真正要解決的問題。更細(xì)一點(diǎn)說提示詞里的每一個(gè)部分都有講究。系統(tǒng)提示詞負(fù)責(zé)設(shè)定角色和邊界用戶提示詞負(fù)責(zé)傳遞具體任務(wù)而少樣本示例則用來(lái)校準(zhǔn)輸出格式。這三者的比例、順序、措辭都會(huì)直接影響最終效果。我試過同一個(gè)問題用五種不同的提示詞結(jié)構(gòu)去問輸出質(zhì)量的差異大到讓人懷疑是不是換了模型。這些經(jīng)驗(yàn)沒有系統(tǒng)化的訓(xùn)練和反復(fù)的對(duì)比實(shí)驗(yàn)光靠看教程是很難悟出來(lái)的。2.2 瓶頸二RAG不是“向量檢索生成”而是“檢索質(zhì)量決定生成上限”RAG檢索增強(qiáng)生成是我自學(xué)時(shí)最感興趣的部分也是踩坑最多的部分。一開始我的理解很簡(jiǎn)單把文檔切塊、向量化、存進(jìn)向量數(shù)據(jù)庫(kù)用戶提問時(shí)檢索最相似的塊拼到提示詞里讓模型生成答案。聽起來(lái)很順但實(shí)際跑起來(lái)效果慘不忍睹。最典型的問題是檢索出來(lái)的內(nèi)容經(jīng)常和用戶問題不相關(guān)。我一開始以為是向量模型不夠好換了好幾個(gè)嵌入模型效果提升有限。后來(lái)才意識(shí)到問題出在文檔切分策略上。我最初是按固定字?jǐn)?shù)切分比如每500字一塊。但這樣切出來(lái)的塊經(jīng)常把一段完整的邏輯攔腰截?cái)鄬?dǎo)致檢索時(shí)匹配到的內(nèi)容支離破碎。正確的做法應(yīng)該是按語(yǔ)義完整性切分比如按段落、按章節(jié)或者用遞歸切分的方式先按大標(biāo)題切再按小標(biāo)題切最后才按字?jǐn)?shù)切。另一個(gè)坑是檢索策略。我最初只用向量相似度檢索后來(lái)發(fā)現(xiàn)對(duì)于某些關(guān)鍵詞明確的問題向量檢索反而不如關(guān)鍵詞檢索準(zhǔn)確。于是我開始嘗試混合檢索向量檢索和關(guān)鍵詞檢索各取一部分結(jié)果再用重排序模型統(tǒng)一打分。這個(gè)改動(dòng)讓檢索準(zhǔn)確率提升了一大截。但這些經(jīng)驗(yàn)在我看的那些入門教程里幾乎沒提過它們只告訴你“用向量數(shù)據(jù)庫(kù)做RAG”卻不告訴你“檢索質(zhì)量才是RAG的生命線”。2.3 瓶頸三Agent不是“讓模型調(diào)用工具”而是“任務(wù)分解與狀態(tài)管理”Agent是我自學(xué)時(shí)覺得最酷的部分也是讓我最受挫的部分。教程里展示的Agent通常很簡(jiǎn)單給模型幾個(gè)工具比如搜索、計(jì)算器、天氣查詢?nèi)缓笞屗约簺Q定什么時(shí)候調(diào)用哪個(gè)工具?？雌饋?lái)很美但實(shí)際做起來(lái)模型經(jīng)常陷入死循環(huán)或者調(diào)用了一堆無(wú)關(guān)的工具最后任務(wù)還是沒完成。我后來(lái)才明白Agent的核心難點(diǎn)不在“調(diào)用工具”而在“任務(wù)分解”和“狀態(tài)管理”。一個(gè)復(fù)雜的用戶請(qǐng)求比如“幫我規(guī)劃一個(gè)三天的北京旅行行程預(yù)算3000元喜歡歷史文化景點(diǎn)”需要Agent先分解成多個(gè)子任務(wù)查景點(diǎn)、查天氣、查交通、算預(yù)算、排行程。每個(gè)子任務(wù)可能需要調(diào)用不同的工具而且子任務(wù)之間還有依賴關(guān)系。如果沒有一個(gè)清晰的任務(wù)分解和狀態(tài)管理機(jī)制模型就會(huì)像無(wú)頭蒼蠅一樣亂撞。我試過用最簡(jiǎn)單的ReAct模式推理行動(dòng)來(lái)搭建Agent結(jié)果發(fā)現(xiàn)對(duì)于多步任務(wù)模型的推理鏈條很容易斷掉。后來(lái)我了解到還有Plan-and-Execute模式、多Agent協(xié)作模式等更復(fù)雜的架構(gòu)但這些在入門教程里基本不會(huì)涉及。沒有系統(tǒng)化的學(xué)習(xí)我可能永遠(yuǎn)停留在“讓模型調(diào)個(gè)天氣API”的水平。2.4 瓶頸四工程化能力才是區(qū)分Demo和產(chǎn)品的分水嶺前面說的都是AI層面的問題但真正讓我意識(shí)到自學(xué)不夠的是工程化能力的缺失。我的Demo在本地跑得好好的一旦部署到服務(wù)器上各種問題就來(lái)了并發(fā)請(qǐng)求一多模型API的響應(yīng)時(shí)間就飆升沒有緩存機(jī)制同樣的請(qǐng)求重復(fù)調(diào)用模型成本高得嚇人日志記錄不完善出了問題根本不知道是哪個(gè)環(huán)節(jié)掛了更別提什么限流、熔斷、降級(jí)這些后端開發(fā)的基本操作了。我舉個(gè)例子。我做的那個(gè)文檔檢索工具最初每次用戶提問都會(huì)重新檢索一遍向量數(shù)據(jù)庫(kù)。后來(lái)我發(fā)現(xiàn)很多問題是重復(fù)的或者高度相似的。如果加一層緩存把常見問題的檢索結(jié)果緩存起來(lái)響應(yīng)時(shí)間能降低一半以上。但這個(gè)緩存怎么設(shè)計(jì)緩存多久過期緩存命中率怎么監(jiān)控這些都不是AI層面的問題而是純粹的工程問題。而恰恰是這些工程問題決定了你的應(yīng)用能不能真正給用戶使用。2.5 瓶頸五沒有對(duì)比就沒有傷害不知道“好”的標(biāo)準(zhǔn)是什么最后一個(gè)瓶頸也是最隱蔽的一個(gè)自學(xué)的時(shí)候你很難知道自己做得好不好。你的Demo能跑通你就覺得“差不多了”。但你不知道生產(chǎn)環(huán)境里的標(biāo)準(zhǔn)是什么不知道別人的系統(tǒng)是怎么設(shè)計(jì)的不知道同樣的功能有沒有更優(yōu)雅的實(shí)現(xiàn)方式。比如提示詞我一開始覺得自己寫的提示詞挺不錯(cuò)的模型輸出也像模像樣。但后來(lái)在訓(xùn)練營(yíng)里看到其他同學(xué)的提示詞才發(fā)現(xiàn)自己的寫法有多粗糙。再比如RAG的檢索策略我以為自己用的混合檢索已經(jīng)很先進(jìn)了結(jié)果發(fā)現(xiàn)別人已經(jīng)在用多路召回加自適應(yīng)重排序了。這種“不知道自己不知道”的狀態(tài)是自學(xué)最大的風(fēng)險(xiǎn)。你以為自己站在山頂其實(shí)只是站在了一個(gè)小土坡上。3. 報(bào)班之后我重新理解了AI應(yīng)用開發(fā)的四個(gè)核心模塊3.1 大模型開發(fā)入門從“會(huì)調(diào)API”到“懂模型行為”報(bào)班之后的第一模塊是大模型開發(fā)入門我本來(lái)以為這部分我會(huì)學(xué)得很快畢竟我已經(jīng)自學(xué)了半年API調(diào)用早就滾瓜爛熟了。但真正聽下來(lái)才發(fā)現(xiàn)自己之前對(duì)模型的理解有多淺。老師講了一個(gè)很關(guān)鍵的點(diǎn)不同的大模型有不同的“性格”。有的模型擅長(zhǎng)創(chuàng)意寫作有的模型擅長(zhǎng)邏輯推理有的模型對(duì)中文的理解更細(xì)膩有的模型在代碼生成上更準(zhǔn)確。這些差異不是靠看文檔就能完全掌握的需要在實(shí)際項(xiàng)目中反復(fù)對(duì)比和測(cè)試。比如同樣是做摘要任務(wù)A模型可能傾向于保留更多細(xì)節(jié)B模型可能更擅長(zhǎng)提煉核心觀點(diǎn)。如果你不了解這些差異就很容易選錯(cuò)模型或者在提示詞設(shè)計(jì)上走彎路。另一個(gè)讓我印象深刻的是“模型行為”的概念。模型不是 deterministic 的同樣的輸入可能得到不同的輸出。這意味著你不能像測(cè)試傳統(tǒng)軟件那樣測(cè)試AI應(yīng)用。你需要設(shè)計(jì)一套評(píng)估機(jī)制用多個(gè)指標(biāo)準(zhǔn)確性、相關(guān)性、流暢度、安全性來(lái)綜合判斷輸出質(zhì)量。這套評(píng)估機(jī)制怎么建評(píng)估數(shù)據(jù)集怎么構(gòu)造評(píng)估結(jié)果怎么解讀這些都是我之前完全沒考慮過的問題。3.2 提示詞工程進(jìn)階從“寫模板”到“設(shè)計(jì)系統(tǒng)”訓(xùn)練營(yíng)里關(guān)于提示詞工程的部分徹底刷新了我的認(rèn)知。我之前以為提示詞工程就是寫幾個(gè)模板但老師講的是“提示詞系統(tǒng)設(shè)計(jì)”。什么意思就是把提示詞當(dāng)作一個(gè)系統(tǒng)工程來(lái)做而不是零散的幾句話。具體來(lái)說一個(gè)完整的提示詞系統(tǒng)包括角色定義、任務(wù)描述、輸出格式約束、少樣本示例、邊界條件處理、異常情況兜底。這六個(gè)部分缺一不可而且每個(gè)部分都有設(shè)計(jì)原則。比如角色定義不能太寬泛要具體到某個(gè)領(lǐng)域的專家輸出格式約束要用結(jié)構(gòu)化的方式寫清楚最好給出示例邊界條件處理要明確告訴模型什么情況下應(yīng)該拒絕回答什么情況下應(yīng)該追問澄清。更關(guān)鍵的是提示詞系統(tǒng)需要版本管理和A/B測(cè)試。你不能拍腦袋覺得哪個(gè)提示詞好就用哪個(gè)而是要通過對(duì)比實(shí)驗(yàn)來(lái)驗(yàn)證。訓(xùn)練營(yíng)里教了一套完整的提示詞優(yōu)化流程先定義評(píng)估指標(biāo)再構(gòu)造測(cè)試集然后設(shè)計(jì)多個(gè)版本的提示詞最后用數(shù)據(jù)說話選出最優(yōu)版本。這套方法論是我自學(xué)半年完全沒有接觸過的。3.3 RAG系統(tǒng)實(shí)戰(zhàn)從“能檢索”到“檢索得準(zhǔn)、生成得好”RAG部分是我收獲最大的模塊。之前自學(xué)的時(shí)候我的RAG系統(tǒng)只能算“能用”但離“好用”差得很遠(yuǎn)。訓(xùn)練營(yíng)里把RAG拆成了三個(gè)核心環(huán)節(jié)索引、檢索、生成每個(gè)環(huán)節(jié)都有詳細(xì)的優(yōu)化策略。索引環(huán)節(jié)老師講了文檔預(yù)處理的重要性。原始文檔往往包含大量噪聲比如頁(yè)眉頁(yè)腳、廣告、無(wú)關(guān)鏈接。如果不做清洗這些噪聲會(huì)嚴(yán)重影響檢索質(zhì)量。另外文檔切分策略也要根據(jù)文檔類型來(lái)定技術(shù)文檔適合按章節(jié)切分對(duì)話記錄適合按輪次切分法律合同適合按條款切分。沒有一種通用的切分方式必須根據(jù)具體場(chǎng)景來(lái)設(shè)計(jì)。檢索環(huán)節(jié)除了我之前用過的向量檢索和關(guān)鍵詞檢索老師還介紹了基于圖結(jié)構(gòu)的檢索、基于知識(shí)圖譜的檢索等更高級(jí)的方案。而且檢索不是一次性的可以多路召回再融合。比如先用向量檢索召回一批結(jié)果再用關(guān)鍵詞檢索召回一批然后用重排序模型統(tǒng)一打分最后選出最相關(guān)的幾個(gè)塊。這套流程聽起來(lái)復(fù)雜但實(shí)際效果提升非常明顯。生成環(huán)節(jié)關(guān)鍵是要讓模型“有據(jù)可依”。提示詞里要明確告訴模型只根據(jù)提供的參考資料回答不要自己編造。如果參考資料里沒有相關(guān)信息就老實(shí)說“根據(jù)現(xiàn)有資料無(wú)法回答”。這個(gè)約束看起來(lái)簡(jiǎn)單但能大幅降低模型幻覺的概率。3.4 工程化與部署從“本地能跑”到“線上能用”最后一個(gè)模塊是工程化與部署也是我覺得最“值回票價(jià)”的部分。之前自學(xué)的時(shí)候我完全沒考慮過部署的問題覺得本地能跑就行了。但訓(xùn)練營(yíng)里老師反復(fù)強(qiáng)調(diào)AI應(yīng)用開發(fā)最終是要交付給用戶使用的不能只停留在Demo階段。工程化涉及的東西很多API網(wǎng)關(guān)怎么設(shè)計(jì)、請(qǐng)求怎么排隊(duì)、緩存怎么做、日志怎么記、監(jiān)控怎么做、成本怎么控制。每一個(gè)點(diǎn)都有具體的工具和方案。比如緩存可以用內(nèi)存緩存如Caffeine做一級(jí)緩存用Redis做二級(jí)緩存根據(jù)問題的熱度設(shè)置不同的過期時(shí)間。再比如限流可以用令牌桶算法控制每個(gè)用戶的請(qǐng)求頻率防止個(gè)別用戶把資源占滿。成本控制也是一個(gè)大問題。大模型API的調(diào)用是按Token計(jì)費(fèi)的如果不加控制一個(gè)不小心就可能產(chǎn)生高額費(fèi)用。訓(xùn)練營(yíng)里教了幾種成本控制策略一是緩存重復(fù)問題直接返回緩存結(jié)果二是模型分級(jí)簡(jiǎn)單問題用便宜的小模型復(fù)雜問題才用大模型三是提示詞壓縮去掉不必要的上下文減少Token消耗。這些策略組合起來(lái)能把成本降低一個(gè)數(shù)量級(jí)。4. 自學(xué)和報(bào)班到底差在哪一張表說清楚4.1 知識(shí)獲取方式的差異自學(xué)最大的優(yōu)勢(shì)是自由想學(xué)什么學(xué)什么想什么時(shí)候?qū)W什么時(shí)候?qū)W。但自由也意味著沒有約束很容易陷入“東一榔頭西一棒子”的狀態(tài)。我今天看RAG的教程明天看Agent的教程后天又去看提示詞工程每個(gè)都學(xué)了一點(diǎn)但都沒有深入。而且網(wǎng)上的教程質(zhì)量參差不齊很多教程只講“怎么做”不講“為什么這么做”更不講“什么情況下不該這么做”。報(bào)班的最大優(yōu)勢(shì)是系統(tǒng)化。課程設(shè)計(jì)者已經(jīng)幫你梳理好了知識(shí)體系從入門到進(jìn)階從理論到實(shí)戰(zhàn)每一步都有明確的目標(biāo)和路徑。而且好的訓(xùn)練營(yíng)會(huì)有實(shí)戰(zhàn)項(xiàng)目讓你在真實(shí)場(chǎng)景中應(yīng)用所學(xué)知識(shí)。這種“學(xué)以致用”的循環(huán)是自學(xué)很難復(fù)制的。4.2 反饋機(jī)制的差異自學(xué)的時(shí)候你寫完代碼、跑通Demo就算完成了。沒有人告訴你哪里做得不好哪里可以優(yōu)化。你可能會(huì)覺得自己做得不錯(cuò)但實(shí)際上離生產(chǎn)標(biāo)準(zhǔn)還差得很遠(yuǎn)。這種“沒有反饋”的狀態(tài)是自學(xué)最大的隱患。報(bào)班之后你有老師、有同學(xué)、有作業(yè)、有項(xiàng)目評(píng)審。你的代碼會(huì)被 review你的方案會(huì)被討論你的輸出會(huì)被評(píng)估。這種外部反饋機(jī)制能讓你快速發(fā)現(xiàn)自己的不足并及時(shí)糾正。我在訓(xùn)練營(yíng)里最大的收獲之一就是看到其他同學(xué)的作業(yè)才發(fā)現(xiàn)原來(lái)同一個(gè)問題可以有那么多種解法而且有些解法比我的優(yōu)雅得多。4.3 時(shí)間成本的差異自學(xué)看起來(lái)省錢但時(shí)間成本很高。你可能需要花大量時(shí)間在篩選教程、試錯(cuò)、走彎路上。我自學(xué)半年真正有效學(xué)習(xí)的時(shí)間可能只有三分之一其余時(shí)間都在“找路”。而報(bào)班雖然要花錢但能幫你節(jié)省大量時(shí)間讓你在更短的時(shí)間內(nèi)達(dá)到更高的水平。當(dāng)然報(bào)班不是萬(wàn)能的。如果你自學(xué)能力很強(qiáng)自律性很高而且有明確的學(xué)習(xí)路徑自學(xué)完全可行。但如果你像我一樣自學(xué)容易迷失方向或者想快速達(dá)到生產(chǎn)級(jí)水平報(bào)班是一個(gè)值得考慮的選擇。4.4 一張對(duì)比表維度自學(xué)報(bào)班知識(shí)體系零散容易遺漏關(guān)鍵點(diǎn)系統(tǒng)化有明確路徑學(xué)習(xí)深度容易停留在“能用”層面深入原理理解“為什么”反饋機(jī)制幾乎沒有靠自己摸索老師點(diǎn)評(píng)、同學(xué)互評(píng)、項(xiàng)目評(píng)審實(shí)戰(zhàn)項(xiàng)目自己設(shè)計(jì)容易脫離實(shí)際真實(shí)場(chǎng)景有明確需求時(shí)間成本高大量時(shí)間花在找路和試錯(cuò)上低路徑清晰效率高成本金錢成本低時(shí)間成本高金錢成本高時(shí)間成本低適合人群自律性強(qiáng)、有明確方向、時(shí)間充裕想快速入門、需要反饋、目標(biāo)明確5. 不管報(bào)不報(bào)班這幾個(gè)實(shí)操建議都能幫你少走彎路5.1 先跑通一個(gè)最小閉環(huán)再逐步加功能很多自學(xué)的人容易犯一個(gè)錯(cuò)誤一上來(lái)就想做一個(gè)“大而全”的系統(tǒng)。結(jié)果就是每個(gè)模塊都做了一點(diǎn)但每個(gè)模塊都不完整最后拼在一起跑不起來(lái)。我的建議是先跑通一個(gè)最小閉環(huán)。比如做一個(gè)最簡(jiǎn)單的問答系統(tǒng)用戶輸入問題調(diào)用大模型API返回答案。這個(gè)閉環(huán)可能只有幾十行代碼但它能讓你快速理解整個(gè)流程。跑通最小閉環(huán)之后再逐步加功能。比如加一個(gè)向量數(shù)據(jù)庫(kù)做RAG加一個(gè)緩存層提升響應(yīng)速度加一個(gè)日志系統(tǒng)方便排查問題。每次只加一個(gè)功能加完之后測(cè)試確保沒問題再加下一個(gè)。這種“小步快跑”的方式比一次性做一個(gè)大系統(tǒng)要靠譜得多。5.2 建立自己的評(píng)估集用數(shù)據(jù)說話AI應(yīng)用開發(fā)和傳統(tǒng)軟件開發(fā)最大的區(qū)別是輸出是不確定的。同樣的輸入模型可能給出不同的輸出。這意味著你不能靠“感覺”來(lái)判斷系統(tǒng)好不好必須建立一套評(píng)估機(jī)制。我的做法是針對(duì)每個(gè)核心功能構(gòu)造一個(gè)包含20到50個(gè)測(cè)試用例的評(píng)估集。每個(gè)測(cè)試用例包括輸入、期望輸出、評(píng)估標(biāo)準(zhǔn)。每次修改提示詞或調(diào)整系統(tǒng)參數(shù)后都跑一遍評(píng)估集看看各項(xiàng)指標(biāo)是提升了還是下降了。這個(gè)評(píng)估集不需要很大但一定要有代表性覆蓋各種邊界情況。5.3 學(xué)會(huì)看日志從日志里找問題AI應(yīng)用的調(diào)試比傳統(tǒng)應(yīng)用要難因?yàn)閱栴}可能出在很多環(huán)節(jié)提示詞、模型、檢索、后處理。如果沒有完善的日志系統(tǒng)你根本不知道問題出在哪里。我的建議是從第一天起就加上詳細(xì)的日志記錄。每次請(qǐng)求都要記錄用戶輸入、檢索到的文檔、最終提示詞、模型輸出、響應(yīng)時(shí)間、Token消耗。這些日志不僅能幫你排查問題還能幫你分析用戶行為優(yōu)化系統(tǒng)設(shè)計(jì)。5.4 不要追求“最新”要追求“最穩(wěn)”AI領(lǐng)域的技術(shù)更新速度非?？旖裉斐鲆粋€(gè)新模型明天出一個(gè)新框架。自學(xué)的人很容易陷入“追新”的陷阱看到什么新東西都想試。但實(shí)際項(xiàng)目中穩(wěn)定性比新穎性重要得多。一個(gè)成熟的、有社區(qū)支持的、文檔完善的方案遠(yuǎn)比一個(gè)剛出來(lái)的、bug一堆的新方案靠譜。我的建議是選型的時(shí)候優(yōu)先考慮那些已經(jīng)經(jīng)過生產(chǎn)驗(yàn)證的方案。比如向量數(shù)據(jù)庫(kù)選Milvus、Qdrant、Weaviate這些成熟的不要選那些剛出來(lái)的小眾產(chǎn)品。再比如大模型選那些有穩(wěn)定API服務(wù)的不要選那些需要自己部署的。穩(wěn)定壓倒一切。5.5 找到自己的“學(xué)習(xí)共同體”自學(xué)最大的問題是孤獨(dú)。遇到問題沒人問做出成績(jī)沒人分享很容易半途而廢。我的建議是找到自己的“學(xué)習(xí)共同體”?？梢允且粋€(gè)技術(shù)社群可以是一個(gè)學(xué)習(xí)小組也可以是一兩個(gè)志同道合的朋友。大家互相交流、互相鼓勵(lì)、互相 review 代碼學(xué)習(xí)效率會(huì)高很多。我在訓(xùn)練營(yíng)里最大的收獲之一就是認(rèn)識(shí)了一群同樣在做AI應(yīng)用開發(fā)的同學(xué)。我們建了一個(gè)小群平時(shí)在群里討論問題、分享資源、互相打氣。這種“共同體”的感覺是自學(xué)很難獲得的。6. 報(bào)班不是終點(diǎn)而是新的起點(diǎn)報(bào)班之后我最大的感受不是“終于有人教我了”而是“終于知道自己不知道什么了”。自學(xué)的時(shí)候我以為自己已經(jīng)掌握得差不多了只是差一點(diǎn)“高級(jí)技巧”。但報(bào)班之后才發(fā)現(xiàn)自己之前學(xué)的那些東西只是冰山一角。AI應(yīng)用開發(fā)涉及的領(lǐng)域太廣了從模型原理到提示詞工程從RAG到Agent從工程化到部署運(yùn)維每一個(gè)方向都值得深入鉆研。但報(bào)班也不是萬(wàn)能的。訓(xùn)練營(yíng)能給你的是系統(tǒng)化的知識(shí)、有經(jīng)驗(yàn)的老師、一起學(xué)習(xí)的同學(xué)但真正的成長(zhǎng)還是要靠自己的實(shí)踐。老師講的東西你不動(dòng)手做一遍永遠(yuǎn)變不成自己的。同學(xué)分享的經(jīng)驗(yàn)?zāi)悴唤Y(jié)合自己的項(xiàng)目去驗(yàn)證永遠(yuǎn)只是別人的經(jīng)驗(yàn)。所以我的建議是如果你決定報(bào)班不要抱著“報(bào)了班就萬(wàn)事大吉”的心態(tài)。把訓(xùn)練營(yíng)當(dāng)作一個(gè)加速器而不是一個(gè)替代品。課上認(rèn)真聽課下拼命練遇到問題主動(dòng)問做完項(xiàng)目主動(dòng)分享。只有這樣你才能真正把訓(xùn)練營(yíng)的價(jià)值最大化。如果你決定繼續(xù)自學(xué)也沒問題。但一定要給自己設(shè)定明確的目標(biāo)和里程碑定期復(fù)盤和總結(jié)主動(dòng)尋找反饋和評(píng)估。不要讓自己陷入“一直在學(xué)習(xí)從來(lái)沒進(jìn)步”的怪圈。最后分享一個(gè)我在訓(xùn)練營(yíng)里學(xué)到的小技巧每次學(xué)完一個(gè)新知識(shí)點(diǎn)不要急著往下學(xué)先花十分鐘寫一段總結(jié)用自己的話把這個(gè)知識(shí)點(diǎn)講清楚。如果你能講清楚說明你真的懂了如果你講不清楚說明你還沒懂。這個(gè)“費(fèi)曼學(xué)習(xí)法”看起來(lái)簡(jiǎn)單但堅(jiān)持下來(lái)效果驚人。我在訓(xùn)練營(yíng)里養(yǎng)成了這個(gè)習(xí)慣現(xiàn)在每學(xué)完一個(gè)模塊都會(huì)寫一篇總結(jié)筆記。這些筆記不僅幫我鞏固了知識(shí)還成了我后來(lái)做項(xiàng)目時(shí)的參考資料。AI應(yīng)用開發(fā)這條路還很長(zhǎng)我還在路上。希望這篇文章能幫你少走一些彎路也希望在未來(lái)的某個(gè)項(xiàng)目里我們能相遇。