這幾年被問到最多的問題不是“哪個模型效果最好”而是“我到底該怎么從零開始搞AI工程”。市面上的教程要么是純理論推導(dǎo)看得人頭昏腦漲要么是一鍵調(diào)用封裝好的接口跑通一個demo就以為會了真到了換數(shù)據(jù)、調(diào)性能、部署上線的時候又兩眼一抹黑。這個標(biāo)題里的from-scratch我理解的意思不是讓你從反向傳播的數(shù)學(xué)公式手推一遍而是指不要依賴那些“黑盒式”的現(xiàn)成平臺踏踏實(shí)實(shí)把AI工程落地所需的每一環(huán)——數(shù)據(jù)怎么理、模型怎么選、指標(biāo)怎么定、服務(wù)怎么上——都親手走通一遍。這篇文章就是圍繞這條路徑把我自己折騰了大幾年的經(jīng)驗(yàn)和踩過的坑按一個可復(fù)現(xiàn)的順序拆開講適合那些有一定編程基礎(chǔ)、想真正進(jìn)入AI工程領(lǐng)域但是還沒找到合適路線的朋友。1. 先把“AI工程”這四個字拆開看1.1 AI工程和“跑個模型”完全是兩碼事很多人對AI工程的第一印象是“訓(xùn)練模型”。這個理解不能說錯但確實(shí)狹窄了。我在實(shí)際項(xiàng)目里最深的感受是訓(xùn)練模型只是整條鏈路里很小的一個環(huán)節(jié)甚至很多時候模型層面的難度遠(yuǎn)小于數(shù)據(jù)層面和工程層面的難度。拿生活里的例子打個比方。訓(xùn)練模型就像學(xué)做一道菜菜譜網(wǎng)上到處都是照著步驟來大部分人都能炒出一盤能吃的菜。但AI工程是“開一家餐廳”你得考慮食材供應(yīng)鏈穩(wěn)不穩(wěn)定數(shù)據(jù)管道、后廚的出菜效率訓(xùn)練與推理性能、食品安全合規(guī)內(nèi)容安全與評估、顧客排不排隊(duì)服務(wù)架構(gòu)與并發(fā)、以及每天的菜單怎么根據(jù)顧客反饋調(diào)整持續(xù)迭代優(yōu)化。一道菜炒得好不代表能撐起一家店。同樣的道理模型離線指標(biāo)刷得再高上線之后如果特征延遲、數(shù)據(jù)分布漂移、接口超時一樣是個失敗的項(xiàng)目。所以AI工程的核心能力圖譜至少包含四大塊數(shù)據(jù)工程獲取、清洗、特征加工、質(zhì)量監(jiān)控、模型研發(fā)選型、訓(xùn)練、調(diào)參、評估、服務(wù)工程部署、推理優(yōu)化、監(jiān)控告警、項(xiàng)目治理實(shí)驗(yàn)管理、版本控制、成本控制。from-scratch的真正含義就是這四塊能力你都要親手摸過一遍而不是只會其中某一項(xiàng)。1.2 為什么“從零開始”依然是最快的路你可能會問現(xiàn)在工具鏈這么成熟用現(xiàn)成的AutoML平臺、低代碼AI服務(wù)不是更快嗎我的觀點(diǎn)很明確如果你是想快速驗(yàn)證一個想法的產(chǎn)品經(jīng)理用現(xiàn)成平臺沒毛病但如果你是想成為合格的AI工程師那這條路反而更慢。原因在于AI工程的難點(diǎn)全在“邊緣地帶”。你調(diào)用現(xiàn)成的圖像分類API永遠(yuǎn)不知道它為什么在某種燈光下表現(xiàn)變差你用AutoML跑出一個高精度模型也理解不了為什么換了一批時間分布不同的數(shù)據(jù)后效果就崩了。這些問題沒有對底層原理和工程細(xì)節(jié)的親身感知你連排查的方向都沒有。我見過太多簡歷上寫著“精通TensorFlow”的候選人遇到一個簡單的特征泄漏問題都毫無頭緒——因?yàn)樗麄兊膶W(xué)習(xí)路徑里根本沒經(jīng)歷過這類問題。從零開始親手搭建哪怕一開始做得粗糙一點(diǎn)你也會實(shí)實(shí)在在地獲得“手感”知道數(shù)據(jù)質(zhì)量對模型上限的影響有多大、知道模型評估指標(biāo)欺騙你的時候有多悄無聲息、知道一個小小的時間戳處理錯誤會讓線上效果與離線評測天差地別。這些手感才是AI工程師真正的核心競爭力。所以我建議不論你最終的工作方向是CV、NLP還是推薦系統(tǒng)第一段學(xué)習(xí)路徑都要用“從零搭建一個完整項(xiàng)目”的方式走一遍。2. 起步準(zhǔn)備需要的前置條件和技術(shù)棧選型2.1 前置知識到底需要多深的數(shù)學(xué)和編程功底“從零開始”這四個字常常把人嚇退大家總覺得需要先把高數(shù)、線代、概率論學(xué)得滾瓜爛熟才能動手。以我的經(jīng)驗(yàn)這是最大的誤解。數(shù)學(xué)和編程當(dāng)然是基礎(chǔ)但AI工程所需的深度和你想象的不一樣。數(shù)學(xué)層面你不需要會推導(dǎo)復(fù)雜的證明但必須理解幾個核心概念的直觀含義梯度知道參數(shù)朝哪個方向調(diào)整能降低損失、概率分布知道樣本和總體的關(guān)系、以及最基本的線性代數(shù)運(yùn)算矩陣相乘到底在算什么。這些概念在日常工作中主要通過“調(diào)參時我在干什么”和“評估指標(biāo)為什么長這樣”這兩個場景體現(xiàn)。遇到不懂的數(shù)學(xué)細(xì)節(jié)隨時查、隨時補(bǔ)比悶頭啃書高效十倍。編程層面Python是繞不開的。但是“會Python語法”和“能用Python干工程”是兩回事。我建議你在開始AI項(xiàng)目之前至少具備以下能力熟練操作pandas做數(shù)據(jù)篩選和聚合、能寫清晰的類和函數(shù)封裝代碼、會用git做版本管理、以及具備基本的調(diào)試能力——print打日志、斷點(diǎn)調(diào)試、閱讀報錯堆棧。這些能力看似基礎(chǔ)但決定了你后續(xù)學(xué)習(xí)AI工程的上限。2.2 技術(shù)棧選型新手階段不要貪多夠用就好AI工程的技術(shù)棧非常龐雜但如果你從零開始我的建議非常“保守”用社區(qū)最主流、文檔最全、找工作最認(rèn)的那套組合不要追新、不要求全。表格對比一下常見技術(shù)棧的定位環(huán)節(jié)推薦技術(shù)為什么推薦暫緩考慮數(shù)據(jù)處理pandas numpy資料多、上手快、幾乎覆蓋所有表格類數(shù)據(jù)需求Spark、Dask等分布式框架模型訓(xùn)練scikit-learn LightGBM接口統(tǒng)一、算法豐富、調(diào)試友好適合建立對模型的直覺PyTorch/TensorFlow的深度學(xué)習(xí)項(xiàng)目深度學(xué)習(xí)可選PyTorch生態(tài)最活躍遇到問題搜得到答案自己從零寫神經(jīng)網(wǎng)絡(luò)框架實(shí)驗(yàn)管理mlflow 或簡單的CSV記錄輕量、夠用Kubernetes等重平臺服務(wù)部署FastAPI Docker簡單直接適合快速上線和調(diào)試微服務(wù)全家桶、服務(wù)網(wǎng)格很多新手容易犯的錯是上來就學(xué)分布式訓(xùn)練、學(xué)GPU集群調(diào)度。這些技能確實(shí)酷但沒有業(yè)務(wù)場景的驅(qū)動學(xué)了也是空中樓閣。我個人的經(jīng)驗(yàn)是先用單機(jī)能把項(xiàng)目完整走一遍再按需擴(kuò)展。先用最簡單的工具鏈把端到端的流程跑通比一開始就上復(fù)雜架構(gòu)有效得多。2.3 學(xué)習(xí)節(jié)奏建議不要按部就班要用項(xiàng)目倒逼學(xué)習(xí)正經(jīng)的學(xué)習(xí)路徑都是線性的先學(xué)Python再學(xué)pandas再學(xué)機(jī)器學(xué)習(xí)算法再學(xué)深度學(xué)習(xí)再學(xué)部署……這套路徑的問題在于戰(zhàn)線太長學(xué)到后面前面已經(jīng)忘了而且始終沒有“完成一個東西”的成就感。我建議反過來用“項(xiàng)目倒逼”的方式。定一個足夠簡單但不簡陋的項(xiàng)目目標(biāo)比如“從零搭建一個預(yù)測用戶是否會在7天內(nèi)再次訪問的模型并封裝成HTTP接口”。然后需要什么就學(xué)什么需要讀數(shù)據(jù)就去學(xué)pandas需要處理缺失值就去看文檔需要訓(xùn)練就去看邏輯回歸和樹模型的原理需要上線就去學(xué)FastAPI。當(dāng)你把這個項(xiàng)目完整跑通你不但掌握了一大堆零零散散的工具更重要的是你已經(jīng)理解了這些工具在整條鏈路上各自扮演的角色。之后再回頭去系統(tǒng)補(bǔ)充理論知識認(rèn)知會完全不一樣。3. 從零搭建一個AI項(xiàng)目的完整實(shí)操過程3.1 項(xiàng)目定義用最常見的數(shù)據(jù)集跑通全流程紙上談兵沒意思直接進(jìn)入實(shí)操環(huán)節(jié)。我選擇用經(jīng)典的人口收入數(shù)據(jù)集Adult數(shù)據(jù)集來演示一個完整的AI工程流程——任務(wù)是二分類根據(jù)一個人的年齡、教育程度、職業(yè)、工作時長等特征預(yù)測其年收入是否超過5萬美元。為什么選這個數(shù)據(jù)集因?yàn)樗銐蛘鎸?shí)包含數(shù)值特征年齡、資本收益等和類別特征職業(yè)、教育水平等而且自帶明顯的類別不平衡問題和缺失值非常適合展示數(shù)據(jù)工程中典型的處理手段。最關(guān)鍵的是它規(guī)模適中單機(jī)就能秒級跑完不給你折騰環(huán)境的機(jī)會。為了貼近工程實(shí)戰(zhàn)我會刻意做得比普通教程“多一點(diǎn)東西”加入數(shù)據(jù)質(zhì)量檢查、特征泄漏防范、模型對比評估、以及模型的可解釋性分析。這些環(huán)節(jié)才是AI工程和“跑一個算法”之間的差別。3.2 數(shù)據(jù)探索與質(zhì)量檢查動手之前先花70%時間看數(shù)據(jù)很多人拿到數(shù)據(jù)就急著開訓(xùn)練這是大忌。我的習(xí)慣是先花大量時間做探索性分析和質(zhì)量檢查。這個環(huán)節(jié)最大的價值不是讓你“感覺數(shù)據(jù)沒問題”而是讓你盡早發(fā)現(xiàn)問題避免訓(xùn)練到一半才發(fā)現(xiàn)特征有問題。第一步查看數(shù)據(jù)形態(tài)。依次打印數(shù)據(jù)的shape、列名、前幾行、描述性統(tǒng)計。代碼很簡單但有幾個關(guān)鍵檢查點(diǎn)需要銘記import pandas as pd train pd.read_csv(adult_train.csv) print(train.shape) # 樣本量和特征維度 print(train.dtypes) # 列類型發(fā)現(xiàn)分類和數(shù)值特征 print(train.head(10)) # 肉眼觀察數(shù)據(jù)合理性 print(train.describe(includeall)) # 分布概覽這一步要重點(diǎn)看三樣?xùn)|西缺失值。Adult數(shù)據(jù)集的缺失值編碼方式是問號?如果你不看前幾行、只依賴于pandas自動識別就會把缺失當(dāng)成普通類別埋下隱患。實(shí)際情況中缺失值可能有空字符串、NA、None、-999等多種編碼方式靠肉眼過一遍是最笨但最有效的方法。類別特征的基數(shù)unique數(shù)量。比如職業(yè)列有多少種取值、國籍列有多少種取值。高基數(shù)類別特征比如上千種取值在后續(xù)處理中需要特殊對待這會影響特征編碼的方案選型。數(shù)值特征的分布范圍。capital-gain資本收益這類特征往往高度偏斜大部分是0少數(shù)是極大值。這種長尾分布的特征如果不做處理會干擾部分模型的訓(xùn)練效果。第二步驗(yàn)證數(shù)據(jù)邏輯。這一步是做AI工程的習(xí)慣具體到代碼層面就是檢查是否有明顯矛盾或異常的數(shù)據(jù)行。比如工作時數(shù)hours-per-week為0但收入很高——不一定是錯的但值得深挖一下比如教育年限與教育程度對不上——大概率是數(shù)據(jù)錄入錯誤。3.3 特征工程與數(shù)據(jù)處理把原始字段變成模型吃得好的養(yǎng)料數(shù)據(jù)看完之后進(jìn)入特征工程階段。這個環(huán)節(jié)的目標(biāo)是把原始數(shù)據(jù)轉(zhuǎn)換成模型能夠有效利用的數(shù)值特征。三個必做的任務(wù)處理缺失值、編碼類別特征、切分?jǐn)?shù)據(jù)集。Adult數(shù)據(jù)集的缺失值處理我采用先填充再標(biāo)記的方式# 將問號統(tǒng)一轉(zhuǎn)為缺失 df df.replace(?, pd.NA) # 類別特征用眾數(shù)填充并額外保留“是否缺失”的標(biāo)記 for col in [occupation, native-country]: df[col _is_missing] df[col].isna().astype(int) df[col] df[col].fillna(df[col].mode()[0])這里有個需要注意的工程細(xì)節(jié)為什么要額外加一列“是否缺失”標(biāo)記因?yàn)樵诤芏鄻I(yè)務(wù)場景中“缺失”本身可能就是一個有信息量的信號。比如用戶沒有填寫職業(yè)可能意味著他自由職業(yè)或無業(yè)這跟“填了職業(yè)卻恰好沒被記錄”是不同的情況。加了標(biāo)記列以后模型有機(jī)會自己學(xué)習(xí)這種信號的規(guī)律而不是被我們武斷地抹掉。類別特征我直接用pandas的category類型再轉(zhuǎn)成數(shù)值編碼或者用OneHotEncoder。對Adult這種基數(shù)不高的場景OneHot是合適的選擇。但要注意高基數(shù)的類別特征比如上千種職業(yè)盲目OneHot會帶來特征維度爆炸并且稀疏編碼對樹模型也不友好。處理方式通常是做頻次編碼把類別替換成該類別在訓(xùn)練集中的出現(xiàn)頻次或者目標(biāo)編碼用類別的目標(biāo)均值做編碼不過這背后的風(fēng)險較大新手建議先把頻次編碼加進(jìn)工具包等有經(jīng)驗(yàn)后再碰目標(biāo)編碼。最后是數(shù)據(jù)集劃分。這一步我要特別強(qiáng)調(diào)“時間意識”如果你的數(shù)據(jù)帶時間戳切分時一定要按時間順序切不要隨機(jī)切否則會引入未來的信息訓(xùn)練集里的樣本時間在實(shí)際業(yè)務(wù)中是不可能先于測試集出現(xiàn)的。Adult雖然沒有時間戳但我們要從此養(yǎng)成習(xí)慣拿訓(xùn)練集的分布去擬合切分測試集必須保持“獨(dú)立”。3.4 模型選型與訓(xùn)練先跑通基線再逐步優(yōu)化數(shù)據(jù)集準(zhǔn)備好以后進(jìn)入模型環(huán)節(jié)。我的建議是嚴(yán)格按“三步走”先跑一個簡單模型做基線再對比更復(fù)雜的模型最后做超參優(yōu)化。第一步用邏輯回歸做基線。邏輯回歸雖然是線性模型但它簡單、訓(xùn)練快、結(jié)果可解釋性強(qiáng)作為baseline非常合適from sklearn.linear_model import LogisticRegression from sklearn.metrics import roc_auc_score, accuracy_score, classification_report model LogisticRegression(max_iter1000) model.fit(X_train, y_train) y_pred_proba model.predict_proba(X_test)[:, 1] y_pred model.predict(X_test) print(AUC:, roc_auc_score(y_test, y_pred_proba)) print(classification_report(y_test, y_pred))這里要明確一點(diǎn)對不平衡的二分類問題只看accuracy準(zhǔn)確率是非常危險的。Adult數(shù)據(jù)里大約只有24%的人收入超5萬就算模型不看任何特征、把所有樣本預(yù)測為“低收入”準(zhǔn)確率也有76%。所以一定要同時看AUC、Precision、Recall等指標(biāo)。AUC不依賴具體閾值能綜合評估排序能力是我做分類項(xiàng)目時必看的首項(xiàng)指標(biāo)。第二步用LightGBM來對比。你會發(fā)現(xiàn)樹模型在這個數(shù)據(jù)集上的表現(xiàn)通常明顯優(yōu)于邏輯回歸因?yàn)樗茏詣硬蹲教卣髦g的非線性交互。這一步的主要目的是讓你直觀感受“模型復(fù)雜度帶來效果提升”的邊界在哪里。import lightgbm as lgb model_lgb lgb.LGBMClassifier(objectivebinary, n_estimators300, learning_rate0.05, num_leaves31) model_lgb.fit(X_train, y_train, eval_set[(X_test, y_test)], eval_metricauc) lgb.plot_importance(model_lgb, figsize(10, 6))第三步做超參數(shù)搜索。我不建議新手一開始就上貝葉斯優(yōu)化用簡單的GridSearchCV或RandomizedSearchCV就足夠。你需要關(guān)注的核心參數(shù)是樹的棵數(shù)、學(xué)習(xí)率、葉子節(jié)點(diǎn)數(shù)決定模型復(fù)雜度。重點(diǎn)記住一個原則小幅調(diào)參、觀察模型在驗(yàn)證集上的表現(xiàn)變化不要一次調(diào)一堆參數(shù)否則根本不知道是哪個參數(shù)起了作用。3.5 模型評估的坑你的指標(biāo)可能正在騙你模型訓(xùn)練完先別急著高興指標(biāo)好。我在實(shí)操中最常提醒自己的一句話是指標(biāo)高不等于模型好指標(biāo)低也不等于模型沒用。關(guān)鍵在于搞清楚指標(biāo)是在什么“條件”下計算的。第一個常見的坑是用accuracy評估不平衡數(shù)據(jù)剛才說過了。第二個坑是使用隨機(jī)切分的方式做交叉驗(yàn)證導(dǎo)致同一用戶的多個樣本同時出現(xiàn)在訓(xùn)練集和測試集。這在推薦系統(tǒng)、用戶行為預(yù)測里極其常見叫“數(shù)據(jù)泄漏”。比如你預(yù)測用戶會不會點(diǎn)擊廣告同一個用戶前幾次點(diǎn)擊的記錄被分到訓(xùn)練集后一次被分到測試集模型實(shí)質(zhì)上“見過”了這個人測試分?jǐn)?shù)虛高上線后立刻打回原形。正確做法按用戶ID或時間進(jìn)行分組切分GroupKFold / TimeSeriesSplit。用代碼說明from sklearn.model_selection import GroupKFold # 假設(shè)有個列user_id gkf GroupKFold(n_splits5) for train_idx, val_idx in gkf.split(X, y, groupsdf[user_id]): X_train, X_val X.iloc[train_idx], X.iloc[val_idx] # 訓(xùn)練與評估...第三個坑是只在測試集上評估一次。很多人反復(fù)用同一份測試集調(diào)整模型調(diào)著調(diào)著測試集就被“污染”了——你已經(jīng)參照測試集答案優(yōu)化過模型了測試分?jǐn)?shù)就失去了獨(dú)立性。正確做法是分出訓(xùn)練集、驗(yàn)證集、測試集三份訓(xùn)練集用來學(xué)習(xí)參數(shù)驗(yàn)證集用來調(diào)超參數(shù)測試集只在最終評估時用一次。3.6 把模型變成服務(wù)從notebook到可接受請求的API模型訓(xùn)練完工作才完成一半。AI工程的另一半是讓模型能真正被業(yè)務(wù)使用。最常見的方式就是訓(xùn)練好的模型打包成HTTP服務(wù)。我用FastAPI來做因?yàn)樗妮p量程度和易上手程度對新手極其友好。下面是一個最精簡的預(yù)測服務(wù)示例import joblib import pandas as pd from fastapi import FastAPI from pydantic import BaseModel app FastAPI() model joblib.load(model.joblib) preprocessor joblib.load(preprocessor.joblib) class Sample(BaseModel): age: int education_num: int occupation: str hours_per_week: int app.post(/predict) def predict(sample: Sample): df pd.DataFrame([sample.model_dump()]) X preprocessor.transform(df) proba model.predict_proba(X)[0, 1] return {probability: float(proba), prediction: int(proba 0.5)}這一步有幾個工程細(xì)節(jié)訓(xùn)練好的模型和預(yù)處理參數(shù)用joblib序列化保存服務(wù)啟動時加載一次避免每次請求重復(fù)加載輸入數(shù)據(jù)用pydantic定義結(jié)構(gòu)FastAPI會自動做數(shù)據(jù)校驗(yàn)非法請求直接被攔截省去大量手工校驗(yàn)代碼預(yù)測接口返回概率值和閾值結(jié)果這樣調(diào)用方可以自己決定閾值而不是由你強(qiáng)制指定。線上部署我推薦用Docker封裝。Dockerfile可以簡單到只有十幾行FROM python:3.10-slim WORKDIR /app COPY requirements.txt . RUN pip install -r requirements.txt COPY app.py . COPY model.joblib . COPY preprocessor.joblib . CMD [uvicorn, app:app, --host, 0.0.0.0, --port, 8000]這個配置的好處是環(huán)境一致——你在本地跑通的服務(wù)到了服務(wù)器上行為一模一樣不會出現(xiàn)“我機(jī)器上明明好的”這種尷尬。4. 常見坑與排查技巧這些坑我替你先踩了4.1 訓(xùn)練和線上預(yù)測的預(yù)處理邏輯不一致后果很嚴(yán)重這是新手最容易犯、也是最隱蔽的錯誤。你訓(xùn)練模型時用整個訓(xùn)練集的均值去填充缺失值但線上實(shí)時預(yù)測時如果不知道這個均值是哪個數(shù)可能使用了不同的方式去處理缺失模型拿到的輸入特征分布就變了效果自然下滑。解決辦法把“訓(xùn)練階段擬合出來的所有參數(shù)”統(tǒng)一封裝成一個preprocessor對象訓(xùn)練完一并序列化保存預(yù)測時只調(diào)用這個對象。千萬不要在預(yù)測代碼里重寫一遍預(yù)處理邏輯。我在實(shí)際項(xiàng)目中就把這列為code review的必查項(xiàng)測試樣本從原始輸入到模型輸入的每一步轉(zhuǎn)換都必須與訓(xùn)練流程完全一致。4.2 類別編碼不一致訓(xùn)練用的映射表和線上用的不是同一份剛才提到的類別特征編碼也有同樣的隱患。訓(xùn)練時你做了OneHot編碼編碼器記住的類別列表里有“某類職業(yè)”線上預(yù)測時來了一個訓(xùn)練集沒出現(xiàn)過的新職業(yè)編碼器可能直接報錯或者靜默地把它當(dāng)成默認(rèn)值。這種問題在真實(shí)業(yè)務(wù)中非常常見因?yàn)檎鎸?shí)數(shù)據(jù)永遠(yuǎn)在變化。解決思路有兩個層面一是給模型輸入加一道“白名單過濾”把未登錄的類別先映射到“其他”再進(jìn)入編碼器二是在模型側(cè)預(yù)留unknown類別的處理邏輯。我建議先做第一層簡單有效代碼大概長這樣known_categories set(preprocessor.named_transformers_[cat] 的categories_列表) raw_value 某個新職業(yè) if raw_value not in known_categories: raw_value Other4.3 效果不符合預(yù)期時先別急著調(diào)參先查數(shù)據(jù)和特征我見過太多人線下AUC很高但線上效果差第一反應(yīng)是換更復(fù)雜的模型、加更多特征。我的經(jīng)驗(yàn)是絕大多數(shù)這種問題根源不在模型而在特征一致性。常見的三類根因訓(xùn)練集和線上特征分布不一致。訓(xùn)練數(shù)據(jù)來自歷史某段時間線上數(shù)據(jù)來自當(dāng)前用戶行為模式已經(jīng)變了。特征含義不一致。訓(xùn)練時“注冊時間”字段來自用戶表線上接口拿到的“注冊時間”來自埋點(diǎn)表兩個時間的定義可能完全不同。特征時效性問題。某些特征比如“最近一次登錄距今天數(shù)”在數(shù)據(jù)庫里計算時用的是當(dāng)下的日期訓(xùn)練時也用了同樣的邏輯但如果重復(fù)計算的特征沒有嚴(yán)格按樣本時間戳推算就會把未來的信息泄漏進(jìn)訓(xùn)練集導(dǎo)致訓(xùn)練指標(biāo)虛高。排查方式也很有套路先寫一個程序把訓(xùn)練集的特征分布和線上請求日志的特征分布逐列對比哪個特征分布漂移了問題就定位到哪個特征。不要憑感覺猜用數(shù)據(jù)說話。4.4 依賴版本差異把環(huán)境配置寫死不要用“最新版”AI工程的復(fù)現(xiàn)性很大程度上由依賴版本決定。一個numpy、pandas或者sklearn的版本升級都可能微妙地改變結(jié)果。我踩過最深刻的一次坑是本地訓(xùn)練用的LightGBM是4.x線上服務(wù)器用的還是3.x結(jié)果predict_proba的結(jié)果對不上查了兩天才發(fā)現(xiàn)是版本問題。建議在項(xiàng)目里固定版本號requirements.txt里不要寫pandas而是寫pandas2.1.4這種精確鎖定的版本。更進(jìn)一步可以用poetry或uv來做依賴管理。和docker搭配后基本可以做到“任何時間、任何機(jī)器、任何環(huán)境都復(fù)現(xiàn)出同樣的結(jié)果”這種可復(fù)現(xiàn)性是AI工程區(qū)別于AI實(shí)驗(yàn)的重要標(biāo)志。4.5 問題排查速查表現(xiàn)象可能原因排查步驟訓(xùn)練精度高線上效果差特征泄漏 / 訓(xùn)練測試分布不一致檢查特征是否包含標(biāo)簽信息對比訓(xùn)練集與線上特征分布模型預(yù)測全為同一類類別極不平衡 / 閾值設(shè)置不當(dāng)查看正樣本比例檢查模型輸出的概率分布而非硬分類API響應(yīng)時間過長每個請求都在加載模型或重復(fù)做特征計算檢查模型加載是否在函數(shù)內(nèi)部特征計算是否有緩存Docker起來后無法連接端口映射問題 / 服務(wù)沒有綁定0.0.0.0檢查docker run -p參數(shù)檢查uvicorn host參數(shù)5. 工具鏈的進(jìn)一步選擇與項(xiàng)目擴(kuò)展方向5.1 什么時候該升級工具鏈從單機(jī)走向平臺當(dāng)你用前面的流程完整走過兩三個項(xiàng)目后單機(jī)腳本的方式會遇到瓶頸。典型表現(xiàn)是數(shù)據(jù)量大到pandas跑不動了實(shí)驗(yàn)記錄散在各處想復(fù)盤找不到之前的參數(shù)配置模型越來越多手動管理版本開始出錯。這時候才需要考慮升級工具鏈而不是提前為“未來可能遇到的大數(shù)據(jù)”焦慮。優(yōu)先升級方向有三個數(shù)據(jù)量大了用Polars替代pandas內(nèi)存效率高幾個量級再大就上Spark實(shí)驗(yàn)管理上引入MLflow做實(shí)驗(yàn)跟蹤和模型注冊至少把參數(shù)、指標(biāo)、模型版本管起來調(diào)度和流程上把訓(xùn)練流程用Airflow之類的工具編排成定期任務(wù)。我的建議是每一步升級都要有明確的痛點(diǎn)驅(qū)動。不要因?yàn)槟硞€工具“流行”就上AI工程講究的是恰好夠用。5.2 從傳統(tǒng)機(jī)器學(xué)習(xí)走向深度學(xué)習(xí)和LLM應(yīng)用到這一步你已經(jīng)能完整做傳統(tǒng)機(jī)器學(xué)習(xí)的AI工程項(xiàng)目了。接下來根據(jù)自己的工作方向再選擇深入哪一個分支。如果往視覺、語音、自然語言處理方向發(fā)展需要進(jìn)入深度學(xué)習(xí)領(lǐng)域——從PyTorch入手學(xué)習(xí)CNN、RNN、Transformer等結(jié)構(gòu)隨之而來的是需要接觸GPU訓(xùn)練、模型壓縮、推理加速這些工程問題。如果往大模型應(yīng)用方向發(fā)展重點(diǎn)是學(xué)會駕馭模型的能力Prompt設(shè)計、RAG架構(gòu)、模型微調(diào)、以及評估LLM輸出的質(zhì)量——這一塊的“AI工程”色彩更強(qiáng)因?yàn)槟悴辉僦缓徒Y(jié)構(gòu)化數(shù)據(jù)打交道還要處理文本切分、向量檢索、上下文管理等新問題。不管選哪個方向底層能力都是通用的數(shù)據(jù)處理、模型評估、服務(wù)部署、問題排查這些你已經(jīng)具備了。這就是from-scratch路徑最大的紅利——你不是在學(xué)一堆工具而是在建立整個AI工程的地基地基穩(wěn)了上面蓋多高的樓都不虛。我個人這幾年帶團(tuán)隊(duì)最深的體會是一個工程師能不能在AI項(xiàng)目里獨(dú)立扛事看的不是他會多少框架而是他面對一個沒有標(biāo)準(zhǔn)答案的問題時有沒有一套自己的排查鏈路和判斷標(biāo)準(zhǔn)。這套鏈路不是靠看教程看出來的一定是從零開始把一個項(xiàng)目親手做完整之后才真正長在身上的。希望這篇文章能幫你跨出這第一步。