先聊聊現(xiàn)狀吧。這兩年NLP算法崗的面試跟五年前完全不是一個(gè)畫(huà)風(fēng)。以前能背熟word2vec、講清楚LSTM的門(mén)控機(jī)制再會(huì)調(diào)個(gè)BERT做文本分類(lèi)基本就能拿到不錯(cuò)的offer。現(xiàn)在不行了面試官上來(lái)直接問(wèn)LoRA的秩怎么選、RoPE和ALiBi的區(qū)別、大模型幻覺(jué)怎么緩解甚至讓你現(xiàn)場(chǎng)推一遍Flash Attention的計(jì)算流程。我見(jiàn)過(guò)不少基礎(chǔ)很扎實(shí)的候選人在深度學(xué)習(xí)八股上答得滴水不漏結(jié)果一個(gè)“為什么BERT用LayerNorm而不是BatchNorm”就被問(wèn)懵了。說(shuō)到底NLP算法崗面試考的不是你會(huì)不會(huì)調(diào)包而是你有沒(méi)有把底層的原理吃透能不能在簡(jiǎn)歷之外展現(xiàn)出真正的技術(shù)深度。這篇文章我就把這兩年積累的面試知識(shí)點(diǎn)從頭到尾梳理一遍覆蓋機(jī)器學(xué)習(xí)基礎(chǔ)、詞向量與語(yǔ)言模型、Transformer與注意力機(jī)制、預(yù)訓(xùn)練模型、LLM微調(diào)與對(duì)齊、經(jīng)典N(xiāo)LP任務(wù)、手撕代碼以及面試問(wèn)答技巧。不管是準(zhǔn)備校招還是社招跳槽照著這套體系去復(fù)習(xí)能少踩很多坑。1. 面試準(zhǔn)備與知識(shí)體系搭建1.1 崗位畫(huà)像NLP算法崗到底在考什么很多人一聽(tīng)說(shuō)“NLP算法崗”第一反應(yīng)就是“要會(huì)深度學(xué)習(xí)、要會(huì)Transformer、要會(huì)用BERT”。這話對(duì)但不完整。實(shí)際面試考察的是三個(gè)維度的疊加基礎(chǔ)理論的扎實(shí)程度、工程實(shí)踐的熟練程度、以及問(wèn)題拆解的思維深度?；A(chǔ)理論包括機(jī)器學(xué)習(xí)經(jīng)典算法、概率論與數(shù)理統(tǒng)計(jì)、深度學(xué)習(xí)的核心組件激活函數(shù)、損失函數(shù)、優(yōu)化器、歸一化。工程實(shí)踐包括PyTorch的熟練度、數(shù)據(jù)處理能力、模型訓(xùn)練與調(diào)參經(jīng)驗(yàn)、線上部署的基本認(rèn)知。問(wèn)題拆解則體現(xiàn)在面試官拋出一個(gè)開(kāi)放性問(wèn)題時(shí)你能不能結(jié)構(gòu)化地分析、給出方案、權(quán)衡取舍。從實(shí)際面試反饋來(lái)看校招更側(cè)重理論基礎(chǔ)和代碼能力社招則更側(cè)重項(xiàng)目深度和系統(tǒng)設(shè)計(jì)能力。但無(wú)論哪種Transformer的原理和預(yù)訓(xùn)練模型的相關(guān)知識(shí)都是必考項(xiàng)這點(diǎn)五年內(nèi)不會(huì)變。1.2 知識(shí)地圖從基礎(chǔ)到前沿的分層復(fù)習(xí)策略我總結(jié)了一套分層的復(fù)習(xí)路徑按優(yōu)先級(jí)排列第一層是NLP基礎(chǔ)文本預(yù)處理、詞向量word2vec、GloVe、FastText、語(yǔ)言模型N-gram、RNN、LSTM、經(jīng)典任務(wù)文本分類(lèi)、序列標(biāo)注、語(yǔ)義匹配。第二層是深度學(xué)習(xí)核心注意力機(jī)制、Transformer結(jié)構(gòu)、位置編碼、LayerNorm、優(yōu)化器與學(xué)習(xí)率策略、過(guò)擬合與正則化。第三層是預(yù)訓(xùn)練模型時(shí)代BERT的預(yù)訓(xùn)練任務(wù)與結(jié)構(gòu)細(xì)節(jié)、GPT系列的自回歸范式、RoBERTa/ALBERT/DeBERTa等改進(jìn)方案、Tokenizer的BPE原理。第四層是大模型相關(guān)LoRA/QLoRA等參數(shù)高效微調(diào)、RLHF與DPO對(duì)齊、RAG檢索增強(qiáng)、Prompt工程、解碼策略貪心/束搜索/采樣、幻覺(jué)問(wèn)題、長(zhǎng)文本處理與上下文窗口。第五層是手撕代碼模型結(jié)構(gòu)復(fù)現(xiàn)、注意力計(jì)算、CRF解碼、常用機(jī)器學(xué)習(xí)算法手推、LeetCode中等等難度的算法題。這套路徑唯一的坑是貪多嚼不爛。我見(jiàn)過(guò)有人把大模型論文背得滾瓜爛熟結(jié)果問(wèn)“softmax的溫度系數(shù)怎么影響輸出分布”答不上來(lái)——這種基礎(chǔ)細(xì)節(jié)才是區(qū)分度的關(guān)鍵。2. 機(jī)器學(xué)學(xué)習(xí)與NLP基礎(chǔ)核心考點(diǎn)2.1 文本表示從詞袋到詞向量的演進(jìn)邏輯面試從文本表示切入的頻率極高因?yàn)檫@是NLP最底層的“終極一問(wèn)”文本怎么變成計(jì)算機(jī)能理解的東西最早是詞袋模型Bag of Words和TF-IDF核心思路是“文檔中出現(xiàn)了哪些詞以及有多重要”。TF-IDF 詞頻 × 逆文檔頻率詞頻看局部逆文檔頻率看全局——一個(gè)詞在越少的文檔里出現(xiàn)它的區(qū)分度就越高。這個(gè)思想到現(xiàn)在仍然值得理解因?yàn)楹芏喽涛谋酒ヅ鋱?chǎng)景里TF-IDF依然是強(qiáng) baseline。之后是分布式表示也就是詞向量。word2vec包括CBOW和Skip-gram兩種結(jié)構(gòu)CBOW用上下文預(yù)測(cè)中心詞Skip-gram用中心詞預(yù)測(cè)上下文。面試官幾乎必問(wèn)“word2vec的訓(xùn)練目標(biāo)是什么負(fù)采樣是干什么的”答案的核心是word2vec本質(zhì)上是在學(xué)一個(gè)“共現(xiàn)概率”的隱表示負(fù)采樣通過(guò)隨機(jī)采樣負(fù)樣本解決softmax歸一化計(jì)算量過(guò)大的問(wèn)題。很多人忽略的一點(diǎn)是word2vec忽略了詞序信息——它是詞袋模型加淺層網(wǎng)絡(luò)的混合體所以對(duì)語(yǔ)義的捕捉有上限。GloVe則引入了全局共現(xiàn)矩陣用矩陣分解的思想來(lái)學(xué)習(xí)詞向量。FastText把word2vec和n-gram特征結(jié)合對(duì)OOV詞表外詞也能生成向量。面試問(wèn)到這類(lèi)問(wèn)題時(shí)如果能主動(dòng)說(shuō)“這些方法的本質(zhì)差異在于word2vec是局部的、GloVe是全局統(tǒng)計(jì)的、FastText是子詞粒度的”面試官的好感度會(huì)立刻提升。2.2 語(yǔ)言模型NLP的“操作系統(tǒng)”語(yǔ)言模型的目標(biāo)是計(jì)算一個(gè)句子的概率也就是預(yù)測(cè)下一個(gè)詞出現(xiàn)的概率分布。N-gram模型是最樸素的方式假設(shè)第n個(gè)詞只跟前面n-1個(gè)詞有關(guān)。缺點(diǎn)是數(shù)據(jù)稀疏和長(zhǎng)依賴(lài)缺失n稍微大一點(diǎn)組合數(shù)量就爆炸了。RNN和LSTM解決了N-gram的長(zhǎng)依賴(lài)問(wèn)題但RNN有梯度消失和梯度爆炸的天然缺陷。LSTM通過(guò)輸入門(mén)、遺忘門(mén)、輸出門(mén)和細(xì)胞狀態(tài)來(lái)緩解梯度消失但本質(zhì)上它依然是串行處理無(wú)法并行化這也是Transformer后來(lái)取代它的根本原因。對(duì)語(yǔ)言模型的考查深度不限于此?，F(xiàn)在大模型時(shí)代面試官會(huì)問(wèn)“N-gram概率怎么平滑處理”——Good-Turing估計(jì)、Kneser-Ney平滑這些經(jīng)典方法在LLM的低頻詞處理、文本生成去重中依然有應(yīng)用價(jià)值。復(fù)習(xí)的時(shí)候不要只背結(jié)構(gòu)圖要能推公式、能比較各自的優(yōu)缺點(diǎn)。2.3 經(jīng)典機(jī)器學(xué)習(xí)算法在NLP里的切入點(diǎn)NLP算法崗不是只考深度學(xué)習(xí)經(jīng)典機(jī)器學(xué)習(xí)算法同樣會(huì)涉及只是考法更偏“結(jié)合場(chǎng)景”。邏輯回歸基本必考因?yàn)樗俏谋痉诸?lèi)最常用的baseline。要能寫(xiě)出sigmoid的形式、推導(dǎo)交叉熵?fù)p失的梯度、理解正則化的作用L1做特征選擇、L2控制權(quán)重幅度。SVM在NLP面試?yán)锟嫉孟鄬?duì)少但偶爾會(huì)有面試官問(wèn)“為什么SVM不適合大規(guī)模文本分類(lèi)”——因?yàn)槲谋咎卣骶S度極高、樣本量巨大核函數(shù)的計(jì)算代價(jià)不劃算。最大熵模型、樸素貝葉斯、HMM隱馬爾可夫模型和CRF條件隨機(jī)場(chǎng)也值得認(rèn)真復(fù)習(xí)。尤其是CRF序列標(biāo)注任務(wù)繞不開(kāi)它。面試常問(wèn)“CRF和Softmax LSTM相比優(yōu)勢(shì)在哪里”答案是CRF建模了標(biāo)簽之間的轉(zhuǎn)移約束比如BIO標(biāo)注里I不能出現(xiàn)在O后面這種約束是逐標(biāo)簽獨(dú)立分類(lèi)做不到的。3. 深度學(xué)習(xí)核心與Transformer細(xì)節(jié)3.1 Transformer結(jié)構(gòu)為什么是它而不是RNNTransformer幾乎是NLP面試的第一高頻考點(diǎn)。面試官可以順著一條線從淺到深地問(wèn)自注意力是什么為什么要縮放點(diǎn)積多頭注意力的意義為什么用LayerNorm位置編碼怎么做訓(xùn)練時(shí)為什么用teacher forcing先說(shuō)自注意力。對(duì)輸入X做線性變換得到Q、K、V三個(gè)矩陣注意力權(quán)重是Q和K的點(diǎn)積經(jīng)過(guò)softmax歸一化后的概率分布然后用這個(gè)分布對(duì)V加權(quán)求和。這里有個(gè)關(guān)鍵細(xì)節(jié)為什么dot product之后要除以根號(hào)dk如果dk很大點(diǎn)積的結(jié)果方差會(huì)變大導(dǎo)致softmax輸出的分布過(guò)于尖銳、梯度極小。除以根號(hào)dk本質(zhì)上是將方差歸一化到1附近讓梯度保持穩(wěn)定。多頭注意力的邏輯是單頭注意力只能自學(xué)一套QKV變換不同位置之間的“注意力關(guān)系”可能不止一種模式。多頭并行學(xué)習(xí)多套關(guān)系——有的頭關(guān)注句法依賴(lài)有的頭關(guān)注指代關(guān)系有的頭關(guān)注局部共現(xiàn)——最后拼接起來(lái)形成更豐富的表示。在面試中解釋“多頭”時(shí)可以加一個(gè)非常實(shí)用的類(lèi)比單頭注意力像是你只用一個(gè)視角看問(wèn)題多頭注意力像是讓多個(gè)專(zhuān)家從不同角度分析同一件事最后匯總意見(jiàn)。這樣講既清楚又有記憶點(diǎn)。3.2 LayerNorm與BatchNormNLP為什么偏向前者這個(gè)題已經(jīng)是面試“老油條”級(jí)別的問(wèn)題了但還是有大批人答不透。BatchNorm在一個(gè)batch內(nèi)、對(duì)每個(gè)特征維度做歸一化它依賴(lài)batch size而且對(duì)序列長(zhǎng)度敏感。NLP里一個(gè)batch的序列經(jīng)過(guò)padding后長(zhǎng)度不一有效token數(shù)量不同如果還按BatchNorm算均值方差短句和長(zhǎng)句的統(tǒng)計(jì)量會(huì)相互干擾。更關(guān)鍵的是BatchNorm統(tǒng)計(jì)的是整個(gè)batch的全局信息在訓(xùn)練和推理之間存在差異訓(xùn)練用batch統(tǒng)計(jì)量推理用running mean/var這在文本場(chǎng)景中會(huì)帶來(lái)不穩(wěn)定。LayerNorm則是對(duì)每個(gè)樣本內(nèi)部的所有特征做歸一化不依賴(lài)batch size也不受序列長(zhǎng)度影響。Transformer里每個(gè)token的embedding向量會(huì)做一次歸一化計(jì)算穩(wěn)定、與batch無(wú)關(guān)所以成為事實(shí)標(biāo)準(zhǔn)。如果面試官繼續(xù)追問(wèn)“Pre-LN和Post-LN的區(qū)別”需要答出原始Transformer用的是Post-LN殘差之后接LayerNorm但在深層網(wǎng)絡(luò)中容易出現(xiàn)訓(xùn)練不穩(wěn)定。Pre-LN先歸一化再進(jìn)子層訓(xùn)練更穩(wěn)定、收斂更快但也可能損失一些效果?，F(xiàn)在的LLM基本都用Pre-LN加RMSNorm的變體——RMSNorm只對(duì)激活值做縮放、不減去均值計(jì)算量更小。3.3 位置編碼從三角函數(shù)到RoPE與ALiBiTransformer本身是位置無(wú)關(guān)的因?yàn)樗鼘?duì)所有token平等對(duì)待沒(méi)有顯式的順序信息。位置編碼就是給token注入“我在句子中的位置”。經(jīng)典Transformer用的是三角函數(shù)位置編碼對(duì)不同維度用不同頻率的正弦和余弦波編碼。這樣設(shè)計(jì)的好處是能通過(guò)線性變換表達(dá)相對(duì)位置關(guān)系泛化到比訓(xùn)練時(shí)更長(zhǎng)的序列。BERT用的是可學(xué)習(xí)位置編碼直接初始化一個(gè)位置embedding矩陣和token embedding相加后一起訓(xùn)練。簡(jiǎn)單有效但外推性差——訓(xùn)練時(shí)最長(zhǎng)512推理超過(guò)512就得改寫(xiě)或用插值。到了大模型時(shí)代RoPE旋轉(zhuǎn)位置編碼成了主流。RoPE將位置信息通過(guò)旋轉(zhuǎn)矩陣注入到QK的點(diǎn)積中使得內(nèi)積只依賴(lài)于相對(duì)位置而不是絕對(duì)位置。它的數(shù)學(xué)形式簡(jiǎn)潔二維子空間的旋轉(zhuǎn)而且能插值外推。面試?yán)锶绻岬絉oPE面試官通常有兩種追問(wèn)一是“RoPE為什么能外推”二是“你能不能推一下RoPE的旋轉(zhuǎn)公式”能做到后者的人鳳毛麟角做到就是加分項(xiàng)。ALiBi是另一種思路不修改embedding而是在注意力打分時(shí)加上一個(gè)與距離成正比的偏置——距離越遠(yuǎn)懲罰越大。它訓(xùn)練快、外推效果好很多開(kāi)源模型采用這個(gè)方案。4. 預(yù)訓(xùn)練模型與LLM時(shí)代的高頻考點(diǎn)4.1 BERT雙塔自編碼范式的每一個(gè)細(xì)節(jié)BERT的面試問(wèn)題可以單獨(dú)開(kāi)一個(gè)清單預(yù)訓(xùn)練任務(wù)有兩個(gè)Masked Language Model隨機(jī)mask掉15%的token讓模型預(yù)測(cè)被mask的詞和Next Sentence Prediction判斷兩句話是否連續(xù)。前者捕捉雙向上下文后者捕捉句間關(guān)系?，F(xiàn)在看NSP任務(wù)在后續(xù)研究里被證明價(jià)值有限RoBERTa去掉NSP后效果反而更好。Transformer Encoder和Decoder的區(qū)別也常常在BERT相關(guān)題目中出現(xiàn)Encoder是雙向的每個(gè)token能看到前后所有tokenDecoder是單向的或帶mask的生成每個(gè)位置時(shí)只能看到當(dāng)前位置之前的token。BERT只用Encoder所以天生是做理解的GPT用Decoder所以天生是做生成的?？赡鼙缓雎缘闹R(shí)點(diǎn)包括BERT的輸入是token embedding、segment embedding、position embedding三者相加[CLS]位置的輸出作為整個(gè)句子的表示W(wǎng)ordPiece分詞下的詞表結(jié)構(gòu)768維的hidden size和12層Encoder的基礎(chǔ)配置。面試時(shí)如果被問(wèn)到“BERT的缺點(diǎn)”可以從這幾個(gè)角度回答一是訓(xùn)練和推理不一致訓(xùn)練時(shí)mask了15%推理時(shí)沒(méi)有mask二是[MASK]標(biāo)記在微調(diào)階段不存在三是NSP任務(wù)較弱四是最大長(zhǎng)度512受限。4.2 GPT與自回歸范式生成模型的天下GPT采用的是標(biāo)準(zhǔn)的自回歸語(yǔ)言模型目標(biāo)給定前文預(yù)測(cè)下一個(gè)詞。這個(gè)目標(biāo)的好處是訓(xùn)練目標(biāo)和推理目標(biāo)完全一致不需要額外的mask策略——Decoder自帶的mask已經(jīng)保證了單向性。面試?yán)镒穯?wèn)GPT的常見(jiàn)角度是“為什么GPT系列能成為大模型的主流基礎(chǔ)架構(gòu)而B(niǎo)ERT不能”關(guān)鍵點(diǎn)在于 第一自回歸目標(biāo)天然適合生成任務(wù)而B(niǎo)ERT的MLM目標(biāo)更適合理解任務(wù) 第二Decode-only結(jié)構(gòu)在scaling law測(cè)試中表現(xiàn)更平滑增加參數(shù)量和訓(xùn)練數(shù)據(jù)loss穩(wěn)定下降 第三生成任務(wù)可以統(tǒng)一框架prompt和completion都是純文本不需要額外的task-specific head。但單看GPT也有問(wèn)題自回歸的生成速度慢逐token解碼、無(wú)法利用后文信息、幻覺(jué)傾向強(qiáng)。如果在面試?yán)锬苤鲃?dòng)把這些trade-off講清楚比單純背架構(gòu)強(qiáng)很多。4.3 LoRA、QLoRA與參數(shù)高效微調(diào)“你在大模型上面做過(guò)什么”這句話基本等于“你會(huì)不會(huì)微調(diào)”。完整地講清楚LoRA提升很大的含金量。LoRALow-Rank Adaptation的核心思想是凍結(jié)原模型的全部參數(shù)在注意力層通常是Q和V矩陣旁路注入低秩矩陣ΔW BA其中B的維度是d×rA的維度是r×k秩r遠(yuǎn)小于原始維度。訓(xùn)練時(shí)只更新A和B推理時(shí)把BA合并回原權(quán)重。面試官愛(ài)問(wèn)“為什么低秩近似有效”答案有幾個(gè)層次預(yù)訓(xùn)練模型的權(quán)重大量冗余大模型微調(diào)時(shí)的參數(shù)變化量本身就集中在一個(gè)低秩子空間中也就是說(shuō)真正需要學(xué)習(xí)的“方向”不多低秩結(jié)構(gòu)控制了模型更新的自由度反而起到隱式正則化的作用降低過(guò)擬合。實(shí)際操作中r的取值很講究。r8在大多場(chǎng)景夠用r16更穩(wěn)但顯存壓力大。經(jīng)驗(yàn)法則如果任務(wù)和目標(biāo)領(lǐng)域差異大可以適當(dāng)增大r如果任務(wù)簡(jiǎn)單r4都經(jīng)常夠用。QLoRA的核心改進(jìn)是量化分頁(yè)優(yōu)化器。把預(yù)訓(xùn)練模型量化到4-bit反量化后計(jì)算梯度并只對(duì)LoRA參數(shù)更新。這樣在單張消費(fèi)級(jí)顯卡上就能微調(diào)7B甚至13B規(guī)模的模型是低成本搞大模型最實(shí)用的路線。4.4 RLHF與DPO對(duì)齊技術(shù)對(duì)比RLHF基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)是OpenAI帶火的對(duì)齊范式分三步走訓(xùn)練一個(gè)監(jiān)督微調(diào)模型SFT收集人類(lèi)對(duì)多個(gè)模型回復(fù)的偏好數(shù)據(jù)訓(xùn)練獎(jiǎng)勵(lì)模型RM用PPO算法基于獎(jiǎng)勵(lì)模型優(yōu)化策略模型。PPO的細(xì)節(jié)不用背得太深但核心思路要清楚新舊策略之間做比值裁剪clip防止更新步長(zhǎng)過(guò)大導(dǎo)致策略崩壞。采樣的prompt要多樣化reward要經(jīng)過(guò)歸一化加上KL散度懲罰防止模型為了高分偏離初始模型太遠(yuǎn)。DPODirect Preference Optimization是對(duì)RLHF的簡(jiǎn)化核心洞察是RLHF中獎(jiǎng)勵(lì)模型的最優(yōu)解是可以閉合求解的因此不需要顯式訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型直接從偏好對(duì)里優(yōu)化策略。它的損失函數(shù)很簡(jiǎn)單也很優(yōu)美讓被偏好的回復(fù)概率升高被拒絕的回復(fù)概率降低同時(shí)用參考模型做正則化。面試?？碱}是“DPO和RLHF各自什么優(yōu)缺點(diǎn)”參考回答RLHF需要訓(xùn)練RM、做PPO采樣工程復(fù)雜度高但可控性強(qiáng)DPO不做在線采樣、不穩(wěn)定時(shí)難排查DPO對(duì)偏好數(shù)據(jù)質(zhì)量更敏感數(shù)據(jù)噪聲會(huì)影響效果。4.5 RAG、幻覺(jué)與長(zhǎng)文本處理RAG檢索增強(qiáng)生成是大模型落地應(yīng)用最高頻的技術(shù)?；窘Y(jié)構(gòu)是先用檢索器從外部知識(shí)庫(kù)召回相關(guān)文檔片段再把這些片段拼進(jìn)prompt讓模型基于檢索結(jié)果生成答案。RAG的優(yōu)點(diǎn)在于知識(shí)更新成本低、可追溯來(lái)源、減少幻覺(jué)。面試官會(huì)問(wèn)“RAG的瓶頸在哪里” 第一檢索質(zhì)量直接決定生成質(zhì)量檢索結(jié)果不相關(guān)再?gòu)?qiáng)的LLM也答不對(duì) 第二多個(gè)chunk拼在一起可能超過(guò)上下文限制需要做重排和裁剪 第三引入檢索環(huán)節(jié)后系統(tǒng)延遲變高、端到端優(yōu)化困難。幻覺(jué)是生成模型的固有問(wèn)題面試中可以從三個(gè)層面回答訓(xùn)練層面模型學(xué)習(xí)的是概率分布而非事實(shí)數(shù)據(jù)庫(kù)解碼層面beam search和采樣都可能放大錯(cuò)誤token的概率評(píng)估層面沒(méi)有統(tǒng)一的幻覺(jué)檢測(cè)標(biāo)準(zhǔn)。緩解手段包括提高數(shù)據(jù)質(zhì)量、引入事實(shí)增強(qiáng)微調(diào)、解碼時(shí)限制低置信token、生成后做驗(yàn)證。長(zhǎng)文本處理也是一個(gè)熱門(mén)方向。常見(jiàn)方案有滑動(dòng)窗口注意力、稀疏注意力Longformer中局部全局attention、上下文壓縮摘要或選擇隱狀態(tài)、RoPE位置插值、還有把長(zhǎng)文本拆分成多個(gè)session交替處理的方案。5. NLP經(jīng)典任務(wù)與項(xiàng)目實(shí)戰(zhàn)經(jīng)驗(yàn)5.1 文本分類(lèi)與情感分析最優(yōu)入門(mén)項(xiàng)目文本分類(lèi)是很多候選人簡(jiǎn)歷里第一個(gè)NLP項(xiàng)目。面試時(shí)如果聊到這類(lèi)項(xiàng)目重點(diǎn)會(huì)落在你怎么處理數(shù)據(jù)不平衡你怎么選擇預(yù)訓(xùn)練模型你用了什么數(shù)據(jù)增強(qiáng)一個(gè)可參考的實(shí)戰(zhàn)路徑是先做EDA探索性數(shù)據(jù)分析——類(lèi)別分布、文本長(zhǎng)度分布、高頻詞、樣本錯(cuò)誤標(biāo)注然后做baseline——TF-IDF邏輯回歸確認(rèn)數(shù)據(jù)難度的下限再上BERT微調(diào)這時(shí)候要重點(diǎn)關(guān)注兩個(gè)問(wèn)題一是學(xué)習(xí)率BERT微調(diào)常用2e-5到5e-5二是max_length過(guò)長(zhǎng)文本截?cái)噙€是分段。情感分析項(xiàng)目有個(gè)常見(jiàn)加分項(xiàng)把模型預(yù)測(cè)失敗的錯(cuò)誤案例做歸因。高頻錯(cuò)誤往往集中在諷刺、否定、方面級(jí)情感這三個(gè)場(chǎng)景能說(shuō)清楚為什么模型在這些場(chǎng)景失敗說(shuō)明你有真正的建模思維。5.2 序列標(biāo)注與NERBIO標(biāo)簽與CRFNER命名實(shí)體識(shí)別是NLP面試的高頻考查項(xiàng)目因?yàn)樗募夹g(shù)棧完整分詞、詞向量、序列標(biāo)注、CRF、常見(jiàn)評(píng)測(cè)指標(biāo)。面試必考的點(diǎn)是BIO標(biāo)注規(guī)則B表示實(shí)體開(kāi)始I表示實(shí)體內(nèi)部O表示非實(shí)體。要能說(shuō)清楚為什么不用簡(jiǎn)單的“實(shí)體/非實(shí)體”二分類(lèi)標(biāo)注——因?yàn)檫B續(xù)出現(xiàn)多個(gè)同類(lèi)型實(shí)體時(shí)模型無(wú)法判斷邊界。NER模型一般用BERTBiLSTMCRF或者BERTCRF。面試官會(huì)問(wèn)“BiLSTM在這里干什么用的能不能去掉”答案是BiLSTM可以在有限數(shù)據(jù)下捕捉局部上下文依賴(lài)但如果預(yù)訓(xùn)練模型很強(qiáng)BiLSTM的增益很小有時(shí)甚至直接去掉更省事。CRF的作用是給標(biāo)簽序列加約束比如I-PER不能直接跟在O后面保證序列整體的合法性。評(píng)測(cè)指標(biāo)是另一個(gè)重點(diǎn)精確率、召回率、F1、嚴(yán)格匹配和寬松匹配的差別。嚴(yán)格匹配要求邊界和類(lèi)型都對(duì)寬松匹配只看一部分。實(shí)體級(jí)別的F1比token級(jí)別的F1更能反映真實(shí)效果。5.3 文本生成與對(duì)話系統(tǒng)評(píng)估是最大的坑做生成類(lèi)項(xiàng)目最容易翻車(chē)的是評(píng)估。BLEU計(jì)算n-gram精確匹配ROUGE側(cè)重于召回但兩者都和人類(lèi)判斷的相關(guān)性很差。面試官如果問(wèn)“你怎么評(píng)估生成的文本質(zhì)量”可以從三層來(lái)答 第一層是自動(dòng)指標(biāo)BLEU、ROUGE、BERTScore適合快速篩選 第二層是指標(biāo)回歸測(cè)試——你把生成結(jié)果交給標(biāo)注員打分再計(jì)算與人類(lèi)打分的相關(guān)性 第三層是任務(wù)級(jí)評(píng)估比如問(wèn)答系統(tǒng)就直接看答案正確率摘要系統(tǒng)看關(guān)鍵信息覆蓋率。生成任務(wù)的手撕代碼高頻題是beam search解碼。核心是每一步不只保留概率最高的一個(gè)候選而是保留top-k個(gè)候選最終選擇整體得分最高的序列。長(zhǎng)度懲罰要注意不加長(zhǎng)度懲罰時(shí)生成結(jié)果會(huì)偏向短句因?yàn)楦怕蔬B乘讓長(zhǎng)句總分越來(lái)越小。5.4 語(yǔ)義匹配與檢索從雙塔到向量化召回語(yǔ)義匹配項(xiàng)目經(jīng)常出現(xiàn)在搜索、問(wèn)答、推薦業(yè)務(wù)相關(guān)崗位的面試中。我遇到的第一個(gè)高頻問(wèn)題是“雙塔模型和單塔模型各自適合什么場(chǎng)景”。雙塔分別編碼query和doc再算向量相似度的優(yōu)勢(shì)是doc可以預(yù)計(jì)算embedding在線推理快適合召回階段缺點(diǎn)是兩個(gè)塔之間沒(méi)有交叉交互語(yǔ)義理解上限有限。單塔把query和doc拼接后過(guò)同一個(gè)模型效果上限更高但推理開(kāi)銷(xiāo)大適合精排階段。更進(jìn)一步的問(wèn)題是檢索里的“召回-粗排-精排”流程。召回階段用向量檢索faiss粗排階段用雙塔或者更輕量的模型精排階段用交互式模型。每一層都是為了在有限算力下拿到最好效果。6. 手撕代碼與算法題實(shí)錄6.1 面試官最?lèi)?ài)讓手寫(xiě)的代碼清單NLP崗手撕代碼的范圍比純后端要窄但更偏模型結(jié)構(gòu)。我整理了一份高頻清單第一梯隊(duì)幾乎必考多頭自注意力forward實(shí)現(xiàn)、Transformer單層實(shí)現(xiàn)、beam search解碼、Softmax實(shí)現(xiàn)帶溫度系數(shù)版本。第二梯隊(duì)常見(jiàn)CRF的維特比解碼、自定義Dataset和DataLoader、mask padding在注意力中的實(shí)現(xiàn)、loss的掩碼計(jì)算忽略padding位置的loss。第三梯隊(duì)偶爾訓(xùn)練循環(huán)的完整實(shí)現(xiàn)含梯度累計(jì)、混合精度、BPE分詞過(guò)程、top-p采樣、word2vec的負(fù)采樣實(shí)現(xiàn)。6.2 手撕代碼的現(xiàn)場(chǎng)應(yīng)對(duì)技巧動(dòng)手寫(xiě)代碼之前先花30秒跟面試官對(duì)需求。比如“mask用布爾還是浮點(diǎn)”“batch維度在前面對(duì)吧”“寫(xiě)PyTorch還是numpy”這些確認(rèn)不會(huì)減分反而表現(xiàn)出你的工程習(xí)慣。寫(xiě)完代碼后主動(dòng)做兩點(diǎn)一是邊界檢查比如序列長(zhǎng)度為1、batch size為1、mask全為T(mén)rue的極端情況二是復(fù)雜度分析手撕的多頭注意力顯然要把復(fù)雜度O(n2d)說(shuō)清楚。不要等面試官問(wèn)主動(dòng)說(shuō)更快加分。一個(gè)很多人沒(méi)意識(shí)到的細(xì)節(jié)在實(shí)現(xiàn)注意力時(shí)mask是加在softmax之前對(duì)應(yīng)位置賦一個(gè)很大的負(fù)數(shù)而不是乘。應(yīng)用了mask的位置softmax歸一化時(shí)分母要正確。如果直接把mask位置設(shè)為0再送softmax等于沒(méi)做mask因?yàn)檫@個(gè)位置的logit還會(huì)參與指數(shù)運(yùn)算。7. 面試問(wèn)答技巧與避坑實(shí)錄7.1 高頻開(kāi)放問(wèn)題千萬(wàn)別背標(biāo)準(zhǔn)答案開(kāi)放性問(wèn)題通常沒(méi)有標(biāo)準(zhǔn)答案面試官考察的是思考框架。比如說(shuō)“怎么解決少樣本問(wèn)題”如果只背“Few-shot learning、prompt tuning、數(shù)據(jù)增強(qiáng)”這些詞就太淺了更好的回答方式是按層次展開(kāi)從數(shù)據(jù)層面怎么做增強(qiáng)和偽標(biāo)注從模型層面怎么做預(yù)訓(xùn)練和繼續(xù)預(yù)訓(xùn)練從訓(xùn)練層面怎么做多任務(wù)學(xué)習(xí)和正則化從推理層面怎么做prompt模板和in-context learning。每一層再舉一個(gè)自己經(jīng)歷過(guò)的實(shí)例。再比如“如何選擇模型”一定要先反問(wèn)資源限制是什么數(shù)據(jù)量多大延遲要求多少在回答里先define constraints再給建議的候選人比一上來(lái)就推薦模型的更讓面試官認(rèn)可。7.2 項(xiàng)目深挖簡(jiǎn)歷上每一個(gè)字都要能展開(kāi)項(xiàng)目深挖是NLP算法崗面試的重頭戲。常見(jiàn)連環(huán)追問(wèn)有為什么選這個(gè)模型有沒(méi)有試過(guò)別的方案效果差多少訓(xùn)練時(shí)遇到什么問(wèn)題怎么處理的上線了嗎線上指標(biāo)比離線差多少這些問(wèn)題的關(guān)鍵在于“做沒(méi)做過(guò)”只能編是編不圓的。一個(gè)實(shí)用經(jīng)驗(yàn)是面試前把簡(jiǎn)歷里每個(gè)項(xiàng)目濃縮成一張卡片寫(xiě)清楚五個(gè)要點(diǎn)——項(xiàng)目解決什么問(wèn)題、思路是什么、為什么選這個(gè)方案、最終效果是多少、踩過(guò)最大的坑是什么。這張卡片能幫你在緊張狀態(tài)下找回節(jié)奏。7.3 心態(tài)與表達(dá)不清楚的地方直接說(shuō)踩過(guò)幾次坑之后我發(fā)現(xiàn)面試中最減分的不是“不會(huì)”而是“硬答”。當(dāng)涉及細(xì)節(jié)的追問(wèn)如果不會(huì)就坦誠(chéng)地說(shuō)“這塊我沒(méi)深入了解但我理解的是……”把問(wèn)題引到你熟悉的方向上。面試官在意的是你的思維過(guò)程不是你的百度百科詞條完整度。還有一個(gè)高階技巧面試中遇到不確定的內(nèi)容時(shí)可以先說(shuō)“我從兩個(gè)角度來(lái)理解這個(gè)問(wèn)題”然后分別給出兩種可能。這說(shuō)明你有分析的空間感即使不是精確答案也給到了一些有價(jià)值的內(nèi)容。8. 最后再分享兩個(gè)實(shí)用的經(jīng)驗(yàn)一是面試準(zhǔn)備不要只背別人的面經(jīng)。面經(jīng)能幫你快速定位知識(shí)點(diǎn)但核心能力始終是對(duì)知識(shí)的深度理解。把Transformer的源碼抄一遍、把a(bǔ)ttention的mask邏輯自己推導(dǎo)一遍、把每篇重要論文的insight說(shuō)出來(lái)效果遠(yuǎn)好于背100道高頻題。二是復(fù)習(xí)的時(shí)候一定要把“why”放在“what”前面。比如RoPE為什么能外推、LoRA為什么秩小也能用、CRF為什么比逐標(biāo)簽分類(lèi)強(qiáng)這些“為什么”才是面試官真正想聽(tīng)到的部分。我自己的經(jīng)驗(yàn)是每次復(fù)習(xí)一個(gè)知識(shí)點(diǎn)都問(wèn)自己三遍“為什么”答不上來(lái)就記錄下來(lái)直到能不看資料講給一個(gè)外行人聽(tīng)為止。NLP算法崗的面試是一個(gè)長(zhǎng)期打磨的過(guò)程基礎(chǔ)扎實(shí)的人在任何時(shí)間節(jié)點(diǎn)都有機(jī)會(huì)。希望這篇總結(jié)能幫你省下一些梳理時(shí)間把精力真正花在理解原理和積累實(shí)戰(zhàn)經(jīng)驗(yàn)上。