在 AI/機(jī)器學(xué)習(xí)里Embedding嵌入簡(jiǎn)單說(shuō)就是把某個(gè)對(duì)象——比如一個(gè)詞、一句話、一張圖、一個(gè)用戶、一個(gè)商品——轉(zhuǎn)換成一串固定長(zhǎng)度的數(shù)字向量。這串向量就叫它的 embedding。它的核心特點(diǎn)是語(yǔ)義或特征相近的對(duì)象在向量空間里的距離會(huì)更近。比如“貓” →[0.8, -0.2, 0.4, ...]“狗” →[0.7, -0.1, 0.5, ...]“汽車(chē)” →[-0.6, 0.9, -0.3, ...]“貓”和“狗”的向量會(huì)比較接近“貓”和“汽車(chē)”的向量會(huì)比較遠(yuǎn)。計(jì)算機(jī)不能直接理解“貓”這個(gè)詞但可以計(jì)算向量之間的相似度。為什么需要 Embedding早期常用one-hot 編碼表示詞“貓” →[0, 0, 1, 0, 0, ...]“狗” →[0, 1, 0, 0, 0, ...]問(wèn)題是維度等于詞表大小可能幾萬(wàn)幾十萬(wàn)維很稀疏。任意兩個(gè)詞都是正交的距離一樣無(wú)法表達(dá)“貓和狗很像”。不能攜帶語(yǔ)義信息。Embedding 則把詞變成低維、稠密、可學(xué)習(xí)的向量比如 128 維、768 維、1536 維。它不僅能壓縮表示還能讓“相似”變成可計(jì)算的幾何關(guān)系。數(shù)學(xué)上怎么理解可以把它看成一個(gè)映射f:對(duì)象→Rdf:對(duì)象→Rd比如輸入是“貓”的編號(hào) 3模型通過(guò)一個(gè)可訓(xùn)練的矩陣W查表e貓W[3]e貓?W[3]這個(gè)矩陣就是Embedding 層。它的每一行對(duì)應(yīng)一個(gè)對(duì)象的向量訓(xùn)練時(shí)這些數(shù)字會(huì)不斷調(diào)整。怎么訓(xùn)練出來(lái)不是人工寫(xiě)死的而是模型從數(shù)據(jù)里學(xué)出來(lái)的。常見(jiàn)方式Word2Vec用周?chē)~預(yù)測(cè)中心詞或反過(guò)來(lái)。BERT通過(guò)掩碼語(yǔ)言模型預(yù)測(cè)被遮住的詞。對(duì)比學(xué)習(xí)讓相似樣本的向量靠近不相似的推遠(yuǎn)。推薦系統(tǒng)讓用戶向量和喜歡的商品向量更接近。訓(xùn)練完后向量里就隱含了語(yǔ)義關(guān)系。經(jīng)典例子king?manwoman≈queenking?manwoman≈queen常見(jiàn)類(lèi)型詞嵌入Word2Vec、GloVe、FastText上下文詞嵌入BERT、ELMo句子/文檔嵌入Sentence-BERT、BGE、OpenAI text-embedding圖像嵌入CNN、ViT、CLIP用戶/物品嵌入推薦系統(tǒng)多模態(tài)嵌入CLIP 把圖片和文字映射到同一個(gè)向量空間所以可以用文字搜圖有什么用途是搜索、推薦、RAG、大模型、多模態(tài)里非常基礎(chǔ)的一塊。語(yǔ)義搜索把查詢和文檔都變成向量算相似度。RAG文檔切塊后做 embedding存進(jìn)向量數(shù)據(jù)庫(kù)檢索相關(guān)片段。推薦系統(tǒng)用戶 embedding 和物品 embedding 做點(diǎn)積預(yù)測(cè)興趣。聚類(lèi)/分類(lèi)相似向量聚在一起。大模型輸入文字先分詞成 token每個(gè) token 查 embedding 變成向量再加位置 embedding送進(jìn) Transformer。怎么判斷相似常用余弦相似度看兩個(gè)向量夾角越接近 1 越相似。點(diǎn)積常用于推薦。歐氏距離距離越小越相似。Embedding 加噪就是在向量表示上注入可控?cái)_動(dòng)得到一個(gè)新的、略有變化的向量再送進(jìn)模型或用于后續(xù)計(jì)算讓模型別過(guò)度依賴(lài)精確坐標(biāo)從而獲得更好的泛化、魯棒性、隱私性或生成能力。數(shù)學(xué)上最常見(jiàn)是e~e?e~e?其中ee原始 embedding??噪聲e~e~加噪后的 embedding比如高斯噪聲?～N(0,σ2I)?～N(0,σ2I)也就是每個(gè)維度都加一點(diǎn)小幅隨機(jī)數(shù)。σσ 控制噪聲強(qiáng)度。代碼上大概就是pythone embedding(x) noise torch.randn_like(e) * sigma e_noisy e noise常見(jiàn)加噪方式高斯噪聲e~eN(0,σ2)e~eN(0,σ2)最常用簡(jiǎn)單適合正則化、隱私保護(hù)。均勻噪聲?～U(?a,a)?～U(?a,a)每個(gè)維度在 [?a,a][?a,a] 內(nèi)隨機(jī)擾動(dòng)。拉普拉斯噪聲差分隱私里常用因?yàn)槔绽狗植嘉舶透馗m合隱私保護(hù)。Dropout / Mask隨機(jī)把某些維度置零e~e⊙me~e⊙m其中 mm 是 0/1 掩碼。它其實(shí)也是一種乘性噪聲。對(duì)抗擾動(dòng)不是隨機(jī)加而是找讓模型最容易出錯(cuò)的方向e~eδe~eδδarg?max?∥δ∥≤?L(f(eδ),y)δarg∥δ∥≤?max?L(f(eδ),y)常見(jiàn)于 FGM、PGD 對(duì)抗訓(xùn)練?？蓪W(xué)習(xí)噪聲在 VAE 里zμσ⊙?zμσ⊙?這相當(dāng)于在隱空間 embedding 上加噪用來(lái)生成新樣本。為什么要給 Embedding 加噪主要目的有這些正則化防止過(guò)擬合讓模型不要死記某個(gè) embedding 的精確值而是學(xué)習(xí)更平滑的表示空間。數(shù)據(jù)增強(qiáng)同一個(gè)對(duì)象加不同噪聲得到多個(gè)“略有不同”的向量當(dāng)成額外樣本。提高魯棒性模型見(jiàn)過(guò)帶噪聲的表示后遇到輸入擾動(dòng)、數(shù)據(jù)缺失、噪聲數(shù)據(jù)時(shí)更穩(wěn)。對(duì)比學(xué)習(xí)同一句話兩次前向由于 dropout 不同得到兩個(gè)略有差異的 embedding作為正樣本對(duì)。SimCSE 就是典型例子。隱私保護(hù)給用戶或物品 embedding 加噪降低反推原始信息的風(fēng)險(xiǎn)常和差分隱私一起用。生成模型 / 擴(kuò)散模型在 latent 或 embedding 上不斷加噪再學(xué)習(xí)去噪從而生成新內(nèi)容。推薦系統(tǒng) / 圖神經(jīng)網(wǎng)絡(luò)給用戶、商品、節(jié)點(diǎn) embedding 加噪構(gòu)造對(duì)比視圖緩解冷啟動(dòng)和過(guò)擬合。和幾個(gè)概念的區(qū)別輸入加噪改原始數(shù)據(jù)比如詞替換、圖片加噪。Embedding 加噪不改原始數(shù)據(jù)改的是模型內(nèi)部的向量表示。Dropout隨機(jī)置零屬于一種結(jié)構(gòu)化加噪。對(duì)抗訓(xùn)練加的是“最壞方向”的擾動(dòng)不是隨機(jī)噪聲。差分隱私通常在梯度或輸出上加噪embedding 加噪也可以用于隱私保護(hù)但要滿足隱私預(yù)算。注意點(diǎn)噪聲強(qiáng)度很關(guān)鍵太小幾乎沒(méi)效果。太大embedding 語(yǔ)義被破壞模型性能下降。通常訓(xùn)練時(shí)加噪推理時(shí)不一定加。如果 embedding 做過(guò)歸一化加噪后可能還要重新歸一化。隨機(jī)種子、噪聲分布、加噪位置都會(huì)影響結(jié)果。