簡(jiǎn)介《AI培訓(xùn)1-AI初體驗(yàn)-人工智能通識(shí)基礎(chǔ)課》是一套面向零基礎(chǔ)學(xué)習(xí)者的人工智能入門講義圍繞AI基本概念、發(fā)展脈絡(luò)與大數(shù)據(jù)背景下的實(shí)際應(yīng)用展開幫助讀者建立通識(shí)框架并銜接后續(xù)學(xué)習(xí)。內(nèi)容從達(dá)特茅斯會(huì)議與符號(hào)主義、連接主義講起延伸到機(jī)器學(xué)習(xí)、自然語言處理、計(jì)算機(jī)視覺和機(jī)器人技術(shù)等核心分支同時(shí)涉及數(shù)據(jù)預(yù)處理、特征工程及Hadoop、Spark等平臺(tái)在AI項(xiàng)目中的角色并討論隱私、就業(yè)與算法歧視等倫理議題。壓縮包內(nèi)為1個(gè)PDF文件約6.25MB便于集中閱讀和隨時(shí)查閱。已有385人學(xué)習(xí)適合希望用較短時(shí)間梳理AI知識(shí)地圖、理解典型應(yīng)用并形成倫理意識(shí)的初學(xué)者。1. 從一個(gè)「訓(xùn)練集 99%、線上 62%」的落差說起一個(gè)模型在訓(xùn)練集上準(zhǔn)確率 99%上線一周掉到 62%。這不是段子是幾乎每個(gè)剛接觸人工智能項(xiàng)目的團(tuán)隊(duì)都會(huì)撞上的第一堵墻而且它跟算力、跟框架版本都沒關(guān)系——問題出在整條鏈路的某一環(huán)被悄悄破壞了。大多數(shù)人學(xué) AI 的順序是反的先去調(diào)包跑通一個(gè)模型再回頭補(bǔ)概念最后才發(fā)現(xiàn)自己根本說不清「數(shù)據(jù)是怎么進(jìn)來的」。這份人工智能通識(shí)基礎(chǔ)課的價(jià)值不在于教你調(diào)某個(gè)庫而在于把從概念、范式、大數(shù)據(jù)管道到倫理邊界這條鏈路一次鋪開讓你在動(dòng)手之前就知道哪一步會(huì)塌。搞懂它你才有判斷一個(gè) AI 需求該不該接、能不能落地的底氣而不是被人一句「上個(gè)大模型」?fàn)恐摺?. 從規(guī)則到表示學(xué)習(xí)為什么「把知識(shí)寫進(jìn) if-else」的成本會(huì)指數(shù)爆炸人工智能早期的路子非常樸素人怎么想就把這個(gè)過程翻譯成規(guī)則。符號(hào)主義那一代研究者相信智能的本質(zhì)是對(duì)符號(hào)的運(yùn)算只要把世界拆成實(shí)體和關(guān)系再寫足夠多的推理規(guī)則機(jī)器就能表現(xiàn)出智能。這個(gè)信念在實(shí)驗(yàn)室里成立在工業(yè)界撞了墻墻的名字叫「知識(shí)獲取瓶頸」。搞懂這個(gè)瓶頸你才能明白后面所有技術(shù)選擇為什么長(zhǎng)成現(xiàn)在這個(gè)樣子。2.1 知識(shí)獲取瓶頸規(guī)則系統(tǒng)的成本曲線長(zhǎng)什么樣規(guī)則系統(tǒng)的成本不是線性的。假設(shè)你做一個(gè)工單自動(dòng)分類器一開始 200 條關(guān)鍵詞規(guī)則能覆蓋 80% 的工單看起來很美。等你要把覆蓋率從 80% 推到 95%得再寫 2000 條規(guī)則從 95% 推到 98%可能還要 5000 條而且每加一條新規(guī)則都要回頭檢查它會(huì)不會(huì)和已有規(guī)則沖突。規(guī)則之間的交互是組合式的N 條規(guī)則的潛在沖突面接近 N2維護(hù)成本隨規(guī)模平方增長(zhǎng)而收益是線性甚至次線性的。更麻煩的是「邊界情況」。規(guī)則是人根據(jù)經(jīng)驗(yàn)寫的人寫規(guī)則時(shí)腦子里想的是典型案例而真實(shí)數(shù)據(jù)里長(zhǎng)尾部分永遠(yuǎn)比你預(yù)想的多。一個(gè)做票據(jù)識(shí)別的團(tuán)隊(duì)曾統(tǒng)計(jì)過他們前 300 條規(guī)則處理了標(biāo)準(zhǔn)票據(jù)后面 3000 條規(guī)則全在處理「蓋章位置偏了」「手寫體潦草」「掃描件有折痕」這類邊角料。規(guī)則越寫越像在給數(shù)據(jù)打補(bǔ)丁而不是在描述規(guī)律。這就是「知識(shí)獲取瓶頸」的真實(shí)含義知識(shí)明明存在專家腦子里但要把它轉(zhuǎn)成機(jī)器能執(zhí)行的符號(hào)中間那道人工翻譯的成本高到不可持續(xù)。專家會(huì)老、會(huì)走規(guī)則文檔會(huì)腐爛最后沒人敢動(dòng)那個(gè)文件。血淚經(jīng)驗(yàn)是凡是需要三個(gè)人以上長(zhǎng)期維護(hù)的規(guī)則庫基本都已經(jīng)在失控邊緣。2.2 表示學(xué)習(xí)替換掉的到底是哪一層人力連接主義換了個(gè)思路不告訴機(jī)器「怎么判斷」只給機(jī)器「判斷得對(duì)不對(duì)」讓它自己去找中間表示。這一換換掉的正是那道人工翻譯工序。原始像素、原始文本、原始點(diǎn)擊日志直接喂進(jìn)去模型內(nèi)部自己長(zhǎng)出「邊緣」「紋理」「詞組合」這類中間概念。這些概念沒有名字你也沒法用一句話描述它們但它們確實(shí)把原始輸入搬到了一個(gè)更容易做線性劃分的空間里。下面這段代碼是一個(gè)最小可訓(xùn)練單元它沒有任何業(yè)務(wù)規(guī)則全部參數(shù)都從數(shù)據(jù)里長(zhǎng)出來import numpy as np # 一個(gè)最小可訓(xùn)練單元h relu(xW1 b1)logits hW2 b2 # 注意W 不是人寫的規(guī)則而是訓(xùn)練過程中被數(shù)據(jù)推出來的 rng np.random.default_rng(42) D_IN, D_HID, D_OUT 784, 128, 10 # He 初始化方差按 fan_in 縮放避免深層網(wǎng)絡(luò)激活值逐層塌縮 W1 rng.normal(0, np.sqrt(2.0 / D_IN), size(D_IN, D_HID)) b1 np.zeros(D_HID) W2 rng.normal(0, np.sqrt(2.0 / D_HID), size(D_HID, D_OUT)) b2 np.zeros(D_OUT) def forward(x): h np.maximum(0.0, x W1 b1) # 隱層把 784 維像素搬到 128 維新空間 logits h W2 b2 # 輸出層在新空間里做線性劃分 return h, logits params W1.size b1.size W2.size b2.size print(params) # 101770約 10 萬個(gè)可調(diào)數(shù)字參數(shù)量算下來是 784×128 128 128×10 10 101770。這 10 萬個(gè)數(shù)字沒有任何一個(gè)對(duì)應(yīng)「如果有『發(fā)票』二字則加分」這樣的語義它們是一組讓損失函數(shù)下降的數(shù)值解。np.sqrt(2.0 / D_IN)里的 2 來自 ReLU 把一半激活值置零、方差減半這一事實(shí)除數(shù)fan_in是輸入維度——這是為了讓每一層的輸出方差大致穩(wěn)定否則堆到十幾層時(shí)前向信號(hào)會(huì)趨近于零反向梯度會(huì)趨近于無窮訓(xùn)練直接崩。np.maximum(0, ...)這一行看起來無害它才是「表示學(xué)習(xí)」能成立的關(guān)鍵。沒有非線性兩層線性疊起來還是線性等價(jià)于一層堆多深都沒用。有了 ReLU網(wǎng)絡(luò)才有能力把輸入空間折疊成任意形狀隱層的那 128 個(gè)數(shù)字才真正成為一組「學(xué)出來的特征」替代掉原本要人手寫的特征模板。2.3 三代范式的真實(shí)關(guān)系是疊加不是替代很多人學(xué)完歷史沿革會(huì)產(chǎn)生一個(gè)錯(cuò)覺符號(hào)主義被連接主義淘汰了。實(shí)際情況是三層技術(shù)疊在一起各自守著自己的地盤。符號(hào)系統(tǒng)擅長(zhǎng)的是「規(guī)則明確、可審計(jì)、不能出錯(cuò)」的場(chǎng)景——審批流、額度計(jì)算、合規(guī)校驗(yàn)這些地方你必須要有一個(gè)能打印出來給人看的判定依據(jù)神經(jīng)網(wǎng)絡(luò)的概率輸出在這里反而是缺陷。統(tǒng)計(jì)學(xué)習(xí)那一層夾在中間它不追求理解語義只追求在特征空間里找到一條分界線。風(fēng)控里的評(píng)分卡模型就是典型特征是人挑的、可解釋的模型只負(fù)責(zé)加權(quán)。深度學(xué)習(xí)的出現(xiàn)沒有讓評(píng)分卡消失因?yàn)闃I(yè)務(wù)方需要知道「為什么拒絕這筆申請(qǐng)」而一個(gè) 128 維隱層給不出這個(gè)答案。所以判斷一個(gè)需求該不該上模型有個(gè)很土但好用的標(biāo)準(zhǔn)這個(gè)問題你能不能用三句話把判定規(guī)則寫清楚能就寫規(guī)則別上模型不能但你手上有大量「輸入-正確答案」的樣本那就是監(jiān)督學(xué)習(xí)的地盤既說不清規(guī)則又沒有樣本那才是真正麻煩的情況通常得先想辦法把數(shù)據(jù)攢出來。這條判斷線比任何算法選型表都實(shí)用。3. 三類范式的分水嶺監(jiān)督、無監(jiān)督、強(qiáng)化學(xué)習(xí)的「反饋信號(hào)」從哪來機(jī)器學(xué)習(xí)被切成監(jiān)督、無監(jiān)督、強(qiáng)化三塊教科書通常按「有沒有標(biāo)簽」來分。這個(gè)分法沒錯(cuò)但不夠本質(zhì)。真正的分水嶺是你用來指導(dǎo)模型改進(jìn)的那個(gè)「反饋信號(hào)」是從哪來的它的信息量有多大它的噪聲有多大。搞清這一點(diǎn)你就能預(yù)判一個(gè)任務(wù)大概能做成什么樣。3.1 監(jiān)督學(xué)習(xí)損失函數(shù)其實(shí)是「答案的距離函數(shù)」監(jiān)督學(xué)習(xí)的信息量最足因?yàn)槊總€(gè)樣本都帶著標(biāo)準(zhǔn)答案。模型輸出一個(gè)預(yù)測(cè)損失函數(shù)計(jì)算它和答案之間的距離反向傳播把這個(gè)距離翻譯成每個(gè)參數(shù)的調(diào)整方向。整個(gè)訓(xùn)練過程就是在參數(shù)空間里沿著梯度的反方向往下走。分類任務(wù)最常用的損失是交叉熵它和 softmax 綁在一起用是有原因的import numpy as np def softmax(logits): # 減去最大值只為數(shù)值穩(wěn)定數(shù)學(xué)上等價(jià)不改變輸出分布 z logits - logits.max(axis-1, keepdimsTrue) e np.exp(z) return e / e.sum(axis-1, keepdimsTrue) logits np.array([2.0, 1.0, 0.1]) y_true 0 # 正確類別是第 0 類 p softmax(logits) # [0.6590, 0.2424, 0.0986] loss -np.log(p[y_true]) # 0.4170 grad p.copy() grad[y_true] - 1.0 # dL/dlogits softmax 輸出 - onehot 標(biāo)簽 print(p, loss, grad) # grad [-0.3410, 0.2424, 0.0986]關(guān)鍵在最后兩行。交叉熵對(duì) logits 的梯度恰好等于「預(yù)測(cè)概率減真實(shí)標(biāo)簽」形式極其干凈預(yù)測(cè)偏高的類別得到負(fù)梯度往下壓偏低的類別得到正梯度往上抬梯度大小自動(dòng)正比于預(yù)測(cè)錯(cuò)得有多離譜。這就是為什么分類任務(wù)幾乎不用均方誤差——均方誤差經(jīng)過 softmax 后梯度里會(huì)多出一個(gè)p(1-p)因子當(dāng)模型錯(cuò)得很自信時(shí)這個(gè)因子接近 0梯度反而消失學(xué)不動(dòng)。-np.log(p[y_true])這一項(xiàng)還有個(gè)細(xì)節(jié)如果預(yù)測(cè)概率真的到了 0log 會(huì)變成負(fù)無窮。工程上沒人直接這么寫都是把 softmax 和交叉熵合成一個(gè)算子做數(shù)值穩(wěn)定或者給概率加一個(gè)極小的 epsilon。這是新手最常翻的車之一訓(xùn)練到一半 loss 變nan八成是在這里。監(jiān)督學(xué)習(xí)的軟肋是標(biāo)簽本身。標(biāo)簽是人標(biāo)的人會(huì)有分歧、會(huì)累、會(huì)按自己的理解偏。一個(gè)團(tuán)隊(duì)花三個(gè)月把準(zhǔn)確率從 91% 調(diào)到 93%最后發(fā)現(xiàn)標(biāo)注一致性只有 88%——上限早就被標(biāo)注質(zhì)量鎖死了后面的調(diào)優(yōu)全是在擬合標(biāo)注噪聲。3.2 無監(jiān)督學(xué)習(xí)沒有標(biāo)簽時(shí)優(yōu)化目標(biāo)是誰定的無監(jiān)督學(xué)習(xí)常被誤解成「沒有目標(biāo)」其實(shí)它有目標(biāo)只是目標(biāo)不是人給的答案而是人從數(shù)據(jù)結(jié)構(gòu)里假設(shè)出來的某種「好」。聚類假設(shè)「好的劃分是簇內(nèi)緊湊、簇間分離」降維假設(shè)「好的表示是丟掉的維度信息最少」自監(jiān)督假設(shè)「被遮住的部分可以從上下文推回來」。這些假設(shè)對(duì)不對(duì)沒有人告訴你。這就是無監(jiān)督最難受的地方優(yōu)化目標(biāo)是你自己定的所以效果好不好也得你自己判斷沒有一個(gè)客觀的 ground truth 兜底。KMeans 是最典型的例子它最小化簇內(nèi)平方和但聚類數(shù) k 必須人來指定。你給 k5它就會(huì)把數(shù)據(jù)切成 5 塊哪怕數(shù)據(jù)本來有 12 個(gè)自然簇。它不會(huì)報(bào)錯(cuò)不會(huì)警告只會(huì)給你一個(gè)看起來挺整齊的結(jié)果。常見的應(yīng)對(duì)思路是換評(píng)估維度輪廓系數(shù)、簇的穩(wěn)定性換隨機(jī)種子重跑看結(jié)果是否一致、以及最土但最有效的一招——把簇心拿出來給業(yè)務(wù)方看問一句「這五類說得通嗎」。業(yè)務(wù)不認(rèn)可的聚類數(shù)學(xué)指標(biāo)再漂亮也沒用。自監(jiān)督是這幾年最值得關(guān)注的方向它的巧妙之處在于從數(shù)據(jù)本身造標(biāo)簽遮住句子里一個(gè)詞讓模型猜把同一張圖做兩種增強(qiáng)讓模型判斷是不是同源。這樣既有監(jiān)督學(xué)習(xí)那樣明確的損失函數(shù)又不需要人工標(biāo)注。這條路子把「無監(jiān)督?jīng)]有客觀目標(biāo)」的問題繞過去了代價(jià)是造出來的任務(wù)和真實(shí)任務(wù)之間存在偏差預(yù)訓(xùn)練學(xué)到的東西未必都對(duì)下游有用。3.3 強(qiáng)化學(xué)習(xí)延遲回報(bào)下的信用分配強(qiáng)化學(xué)習(xí)的信息形態(tài)和前兩者完全不同。它既沒有標(biāo)準(zhǔn)答案也沒有數(shù)據(jù)結(jié)構(gòu)假設(shè)只有一個(gè)標(biāo)量獎(jiǎng)勵(lì)而且這個(gè)獎(jiǎng)勵(lì)往往是延遲的——下圍棋要走完 200 手才知道輸贏推薦系統(tǒng)要用戶停留十分鐘才知道這次推得好不好。延遲回報(bào)帶來兩個(gè)硬問題。第一個(gè)是信用分配最終贏了到底是第 37 手那步妙棋的功勞還是第 180 手對(duì)手失誤送的常見的做法是引入折扣因子 γ把未來獎(jiǎng)勵(lì)按 γ^t 折現(xiàn)回當(dāng)前時(shí)刻越遠(yuǎn)的獎(jiǎng)勵(lì)權(quán)重越小。γ0.99 意味著 100 步之后的獎(jiǎng)勵(lì)只剩三分之一的影響力這個(gè)數(shù)怎么定直接決定了模型是短視還是遠(yuǎn)視。第二個(gè)是探索與利用的權(quán)衡。模型當(dāng)前認(rèn)為最優(yōu)的動(dòng)作未必真的最優(yōu)如果一直選它就永遠(yuǎn)發(fā)現(xiàn)不了更好的選擇如果一直亂試又積累不了有效經(jīng)驗(yàn)。這個(gè)問題在監(jiān)督學(xué)習(xí)里根本不存在因?yàn)榇鸢敢呀?jīng)擺在那里了你只需要逼近它。強(qiáng)化學(xué)習(xí)在通識(shí)課里通常只講概念不講實(shí)現(xiàn)原因很實(shí)際樣本效率太低。一個(gè)監(jiān)督學(xué)習(xí)任務(wù)幾千條樣本能出效果同樣的問題用強(qiáng)化學(xué)習(xí)可能要幾百萬次交互而且訓(xùn)練曲線抖動(dòng)劇烈換個(gè)隨機(jī)種子結(jié)果能差一倍。所以真實(shí)項(xiàng)目里的順序一般是能用監(jiān)督學(xué)習(xí)解決就別碰強(qiáng)化學(xué)習(xí)實(shí)在沒有標(biāo)注數(shù)據(jù)、又必須做序列決策時(shí)才考慮它。維度監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)反饋信號(hào)每條樣本的標(biāo)準(zhǔn)答案人為構(gòu)造的結(jié)構(gòu)假設(shè)環(huán)境返回的標(biāo)量獎(jiǎng)勵(lì)典型損失交叉熵、均方誤差簇內(nèi)平方和、重構(gòu)誤差策略梯度、時(shí)序差分誤差評(píng)估難度低有客觀指標(biāo)高需業(yè)務(wù)確認(rèn)高方差大且依賴環(huán)境主要失敗模式標(biāo)簽噪聲、數(shù)據(jù)泄漏假設(shè)不成立、k 值拍腦袋樣本效率低、獎(jiǎng)勵(lì)設(shè)計(jì)錯(cuò)誤4. 大數(shù)據(jù)管道為什么迭代訓(xùn)練受不了「落盤」以及特征工程為什么會(huì)泄漏模型只是整條鏈路的最后一環(huán)。真實(shí)項(xiàng)目里從原始日志到能喂進(jìn)模型的特征矩陣中間那段管道決定了效果的上限。這一段最容易被初學(xué)者忽略也最容易出那種「代碼沒報(bào)錯(cuò)、結(jié)果就是不對(duì)」的隱性問題。4.1 預(yù)處理與特征工程模型效果的大頭在進(jìn)入模型之前原始數(shù)據(jù)幾乎不能直接用。缺失值要處理刪、填均值、填中位數(shù)、還是單獨(dú)標(biāo)記成一個(gè)類別每種選擇都在向模型注入假設(shè)類別變量要編碼獨(dú)熱編碼在基數(shù)上萬時(shí)會(huì)炸成幾萬列稀疏矩陣目標(biāo)編碼又極易泄漏連續(xù)值要縮放不同量綱的特征會(huì)讓梯度下降走成之字形收斂慢十倍。量綱這件事值得單獨(dú)說。一個(gè)特征范圍是 0 到 1另一個(gè)是 0 到 1000000梯度對(duì)前者幾乎是平的、對(duì)后者極其陡峭學(xué)習(xí)率沒法同時(shí)適配。標(biāo)準(zhǔn)化減均值除標(biāo)準(zhǔn)差和歸一化縮到 [0,1]解決的就是這個(gè)問題讓所有維度在同一個(gè)尺度上被平等對(duì)待。但縮放有個(gè)前提條件經(jīng)常被違反統(tǒng)計(jì)量只能來自訓(xùn)練集。下面的寫法看著很自然其實(shí)是錯(cuò)的import pandas as pd train df.iloc[:8000].copy() test df.iloc[8000:].copy() # 錯(cuò)誤均值和標(biāo)準(zhǔn)差用到了 test 的信息測(cè)試集不再是沒見過的數(shù)據(jù) mu_all, sd_all df[amount].mean(), df[amount].std() # 正確統(tǒng)計(jì)量只從 train 計(jì)算然后用同一組參數(shù)變換 test mu, sd train[amount].mean(), train[amount].std() train[amount_z] (train[amount] - mu) / sd test[amount_z] (test[amount] - mu) / sd # 注意用的是 train 的 mu/sd差別在哪用全量統(tǒng)計(jì)量時(shí)測(cè)試集的分布信息提前滲進(jìn)了訓(xùn)練過程模型在離線評(píng)估里表現(xiàn)會(huì)虛高一點(diǎn)點(diǎn)。連續(xù)特征上這個(gè)偏差通常很小所以它不顯眼但換成目標(biāo)編碼用標(biāo)簽均值替換類別就是災(zāi)難級(jí)的——每個(gè)類別的編碼值里都摻進(jìn)了測(cè)試樣本的標(biāo)簽離線 AUC 能沖到 0.99上線立刻打回原形。更隱蔽的是時(shí)間維度。用隨機(jī)切分做時(shí)間序列的 train/test等于讓模型用未來的數(shù)據(jù)預(yù)測(cè)過去。正確做法是按時(shí)間點(diǎn)切用前 8 個(gè)月訓(xùn)后 2 個(gè)月測(cè)。這一條在風(fēng)控、銷量預(yù)測(cè)、推薦里都是鐵律違反了模型學(xué)到的全是「未來信息」。4.2 從磁盤屏障到 DAG 內(nèi)存復(fù)用分布式計(jì)算范式換了什么數(shù)據(jù)量超過單機(jī)內(nèi)存時(shí)就得靠分布式。第一代方案的思路很清晰把計(jì)算拆成 map 和 reduce 兩個(gè)階段中間結(jié)果落盤靠磁盤扛住數(shù)據(jù)量。這套模型皮實(shí)、容錯(cuò)簡(jiǎn)單但有個(gè)致命傷——每一次計(jì)算都要讀盤、寫盤。機(jī)器學(xué)習(xí)訓(xùn)練恰恰是迭代式的。梯度下降要跑幾百輪每輪都要把全量數(shù)據(jù)過一遍。如果每輪都是一個(gè)獨(dú)立的批處理作業(yè)那就意味著幾百次「讀盤→算→寫盤→再讀盤」。磁盤 IO 和網(wǎng)絡(luò)傳輸成了絕對(duì)瓶頸CPU 大部分時(shí)間在等數(shù)據(jù)。有人測(cè)過在這種范式下做迭代計(jì)算真正的計(jì)算時(shí)間占比可能不到 10%。第二代方案改的是執(zhí)行計(jì)劃。它把整個(gè)計(jì)算表達(dá)成一張有向無環(huán)圖多個(gè)算子能連續(xù)執(zhí)行的就連成一個(gè)階段中間結(jié)果留在內(nèi)存里直接喂給下一個(gè)算子只在必須跨節(jié)點(diǎn)重分區(qū)的邊界上才落盤。注意不是「不落盤」而是把落盤次數(shù)從「每個(gè)算子一次」壓到「每次重分區(qū)一次」。容錯(cuò)機(jī)制也跟著換了。既然中間結(jié)果不落盤機(jī)器掛了怎么恢復(fù)答案是記錄血緣每個(gè)數(shù)據(jù)集記住自己是由哪個(gè)數(shù)據(jù)集經(jīng)過什么算子算出來的丟了就按血緣重算那一部分。代價(jià)是重算收益是平時(shí)不用付落盤的代價(jià)。這個(gè)取舍很典型——用計(jì)算換 IO。維度批處理落盤范式DAG 內(nèi)存計(jì)算范式中間結(jié)果每個(gè)階段寫磁盤盡量留在內(nèi)存僅在重分區(qū)時(shí)落盤迭代任務(wù)每輪一個(gè)獨(dú)立作業(yè)IO 開銷巨大多輪共享同一批緩存數(shù)據(jù)容錯(cuò)方式失敗重跑整個(gè)作業(yè)按血緣關(guān)系重算丟失分區(qū)適用場(chǎng)景一次性離線清洗、超大冷數(shù)據(jù)迭代訓(xùn)練、交互式分析、多步管道理解了這一層「為什么有些框架做迭代快、有些做批處理穩(wěn)」就不再是玄學(xué)而是執(zhí)行計(jì)劃里落盤次數(shù)的差異。選型時(shí)問一句「這個(gè)任務(wù)要迭代多少輪、數(shù)據(jù)能不能塞進(jìn)內(nèi)存」答案基本就出來了。4.3 特征泄漏最隱蔽也最致命的一類錯(cuò)誤前面提了統(tǒng)計(jì)量泄漏和時(shí)間泄漏還有一類更狡猾的特征本身在預(yù)測(cè)發(fā)生的那一刻根本拿不到。比如預(yù)測(cè)用戶會(huì)不會(huì)下單你用上了「本次會(huì)話的最終成交金額」——這個(gè)字段在預(yù)測(cè)時(shí)點(diǎn)是不存在的但它和標(biāo)簽高度相關(guān)模型會(huì)死死抓住它離線指標(biāo)漂亮得不像話。排查這類問題的辦法很笨但很有效把每個(gè)特征拿出來問一句「這條記錄產(chǎn)生的那一秒這個(gè)值算出來了嗎」。答不上來的一律先剔除。另一個(gè)辦法是看特征重要性排名如果某個(gè)特征的重要性高得離譜比如單特征 AUC 就 0.9先懷疑泄漏別急著慶祝。5. 常見問題與排查五個(gè)把「通識(shí)」學(xué)成「玄學(xué)」的坑通識(shí)基礎(chǔ)課講完概念真正的考驗(yàn)在動(dòng)手。下面這幾條是初學(xué)者最容易踩的幾乎每一條我都見過有人在同一個(gè)地方反復(fù)翻車。按「現(xiàn)象 → 原因 → 解決」記下來比背公式管用。5.1 效果類故障訓(xùn)練集好看、線上難看現(xiàn)象訓(xùn)練集準(zhǔn)確率 99%驗(yàn)證集 97%上線一周掉到 62%而且隨著時(shí)間推移還在往下掉。原因三種可能按概率排序。第一是數(shù)據(jù)泄漏驗(yàn)證集和訓(xùn)練集之間存在信息滲透前面講的統(tǒng)計(jì)量泄漏、時(shí)間泄漏都算。第二是分布漂移線上數(shù)據(jù)的分布和訓(xùn)練時(shí)不一樣比如訓(xùn)練數(shù)據(jù)來自某幾個(gè)渠道上線后全渠道流量涌入。第三是評(píng)估口徑不一致離線算的是「所有樣本的平均準(zhǔn)確率」線上業(yè)務(wù)方看的是「高價(jià)值用戶里的準(zhǔn)確率」兩個(gè)數(shù)根本不是一回事。解決先做時(shí)間切分的驗(yàn)證用最近一個(gè)月的數(shù)據(jù)當(dāng)測(cè)試集看指標(biāo)掉多少再逐個(gè)特征排查泄漏最后和業(yè)務(wù)方對(duì)齊評(píng)估口徑把線上真正關(guān)心的那一小撮樣本單獨(dú)算指標(biāo)。三件事做完通常能定位到具體是哪一環(huán)。5.2 工程類故障loss 不降、loss 變 nan、顯存爆掉現(xiàn)象訓(xùn)練跑了十輪loss 在 2.3 附近紋絲不動(dòng)或者第二輪直接變成nan。原因loss 不動(dòng)的頭號(hào)原因是學(xué)習(xí)率。太大參數(shù)在最優(yōu)解附近來回橫跳loss 劇烈震蕩太小十輪走不出初始化那一片平地。第二號(hào)原因是標(biāo)簽錯(cuò)位——特征和標(biāo)簽沒對(duì)齊模型在學(xué)隨機(jī)噪聲這種情況下 loss 會(huì)穩(wěn)定在一個(gè)接近隨機(jī)猜測(cè)的值上二分類約 0.693。變成nan則多半是數(shù)值問題log(0)、除零、梯度爆炸。解決先跑一個(gè)極小數(shù)據(jù)集比如 32 條樣本過擬合看看如果連 32 條都擬合不了說明代碼有 bug 而不是調(diào)參問題。然后打印第一批數(shù)據(jù)的特征和標(biāo)簽人工核對(duì)是否對(duì)應(yīng)。學(xué)習(xí)率從 1e-3 開始按 3 倍網(wǎng)格搜觀察前 100 步的 loss 曲線形狀。加梯度裁剪防爆炸softmax 前減最大值防溢出?，F(xiàn)象顯存把 batch size 調(diào)到 256 就 OOM調(diào)到 32 又抖得厲害。原因顯存占用大致正比于 batch size 乘以單樣本的激活值而激活值和模型深度、序列長(zhǎng)度都相關(guān)。參數(shù)本身占的顯存反而是小頭。解決用梯度累積——batch 設(shè) 32連跑 8 次把梯度累加起來再更新一次等效 batch 是 256顯存只按 32 算。再配合混合精度顯存還能再省一半。這兩招基本能讓你在小顯存上跑出大 batch 的效果。5.3 合規(guī)類故障把不該進(jìn)模型的東西喂進(jìn)去現(xiàn)象模型效果很好但上線評(píng)審被卡住或者上線后收到用戶投訴。原因特征里混進(jìn)了敏感屬性性別、年齡、地域等模型可能學(xué)出歧視性的決策路徑或者訓(xùn)練數(shù)據(jù)里含有未脫敏的個(gè)人信息模型把它記住了。這類問題的特點(diǎn)是不會(huì)在指標(biāo)上暴露只會(huì)在合規(guī)審查或用戶反饋時(shí)爆出來。解決建模前先做特征清單評(píng)審把每個(gè)字段的合規(guī)屬性標(biāo)出來訓(xùn)練數(shù)據(jù)入湖前做脫敏上線前跑一遍公平性評(píng)估看不同群體的通過率差異是否在可接受范圍內(nèi)。通識(shí)課里專門講 AI 倫理不是湊數(shù)它是唯一一類「技術(shù)指標(biāo)全綠但項(xiàng)目直接死掉」的風(fēng)險(xiǎn)。提示排查順序永遠(yuǎn)是「數(shù)據(jù) → 特征 → 切分 → 模型 → 超參」從上游往下游查。反過來查你會(huì)在調(diào)參上浪費(fèi)掉 80% 的時(shí)間。6. 取舍的邊界為什么入門階段先學(xué)「不做什么」通識(shí)課有個(gè)繞不開的取舍是先把數(shù)學(xué)推導(dǎo)講透還是先把邊界和失敗模式講清。前者嚴(yán)謹(jǐn)?shù)鯇W(xué)者在還不會(huì)用工具的時(shí)候就被矩陣求導(dǎo)勸退后者實(shí)用代價(jià)是學(xué)員暫時(shí)說不清反向傳播的鏈?zhǔn)椒▌t細(xì)節(jié)。這門課選了后者我認(rèn)為這個(gè)選擇是對(duì)的——入門階段最大的成本不是「不會(huì)算」而是「用錯(cuò)工具還渾然不覺」。判斷自己有沒有真的學(xué)進(jìn)去可以用三個(gè)問題自測(cè)給你一個(gè)業(yè)務(wù)需求你能不能說出它屬于哪類范式、需要什么樣的反饋信號(hào)給你一份數(shù)據(jù)你能不能判斷哪些字段在預(yù)測(cè)時(shí)點(diǎn)拿不到給你一個(gè) 99% 的離線指標(biāo)你的第一反應(yīng)是慶祝還是懷疑泄漏。三個(gè)問題都答得上來說明底層認(rèn)知已經(jīng)建起來了剩下的調(diào)參和工程細(xì)節(jié)都是時(shí)間問題。至于進(jìn)階方向我的建議是先往「數(shù)據(jù)」走而不是往「模型」走。把特征工程、數(shù)據(jù)切分、評(píng)估口徑這三件事做扎實(shí)收益遠(yuǎn)大于換一個(gè)更先進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)。真實(shí)項(xiàng)目里模型結(jié)構(gòu)的差異往往只有一兩個(gè)點(diǎn)而數(shù)據(jù)管道的一個(gè)泄漏能讓指標(biāo)虛高三十個(gè)點(diǎn)。早年我在一個(gè)模擬項(xiàng)目里帶過一個(gè)組為了把離線指標(biāo)刷到 0.95 連熬了兩周換模型、調(diào)超參、加特征最后發(fā)現(xiàn)是目標(biāo)編碼時(shí)用了全量標(biāo)簽指標(biāo)是假的。刪掉那個(gè)特征之后模型的真實(shí)水平只有 0.78而這兩周里沒有一個(gè)人想過去核對(duì)一下切分邏輯。從那以后我每次拿到一份漂亮得不像話的離線結(jié)果都強(qiáng)制先跑一遍「這個(gè)特征在預(yù)測(cè)時(shí)點(diǎn)拿得到嗎」的清單一個(gè)字段一個(gè)字段過過完才允許自己高興。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取