大概每隔一段時(shí)間AI圈都會(huì)出現(xiàn)一篇讓很多人連夜讀完的萬字長(zhǎng)文。最近刷屏的這篇出自一位頂級(jí)AI實(shí)驗(yàn)室負(fù)責(zé)人之手核心觀點(diǎn)濃縮在標(biāo)題里我們已經(jīng)沒有時(shí)間可以浪費(fèi)了直面并克服強(qiáng)大AI帶來的風(fēng)險(xiǎn)。說實(shí)話我第一次看到這個(gè)標(biāo)題時(shí)覺得有點(diǎn)標(biāo)題黨但完整讀完之后發(fā)現(xiàn)這其實(shí)是整個(gè)行業(yè)正在面對(duì)的真實(shí)處境。這位負(fù)責(zé)人沒有回避任何尖銳問題把強(qiáng)大AI系統(tǒng)可能給人類社會(huì)帶來的沖擊、安全研究的缺口、以及產(chǎn)業(yè)界必須立刻做對(duì)的動(dòng)作全部攤開來講了一遍。對(duì)于正在做AI產(chǎn)品、搞大模型應(yīng)用、以及負(fù)責(zé)技術(shù)決策的人來說這絕不是一個(gè)可以掃一眼就跳過的行業(yè)評(píng)論而是一份值得逐段對(duì)照自身工作的風(fēng)險(xiǎn)提示。我對(duì)這類文章一直有個(gè)習(xí)慣先看結(jié)論再看論據(jù)最后看它有沒有給出真正可執(zhí)行的動(dòng)作。這篇長(zhǎng)文最難得的恰恰是最后一點(diǎn)。它沒有停留在“AI很危險(xiǎn)”的層面而是把風(fēng)險(xiǎn)拆成具體維度同時(shí)指出了安全研究為什么跟不上能力發(fā)展的節(jié)奏。我結(jié)合自己這些年做AI項(xiàng)目、跑模型評(píng)估、設(shè)計(jì)安全護(hù)欄的經(jīng)驗(yàn)把這篇長(zhǎng)文的核心信息重新梳理了一遍順便補(bǔ)充一些實(shí)戰(zhàn)層面的解讀希望能幫你更快抓住重點(diǎn)。1. 萬字長(zhǎng)文到底在提醒什么1.1 被反復(fù)提起的“強(qiáng)大AI”到底是什么水平很多人看到“強(qiáng)大AI”這個(gè)詞第一反應(yīng)是科幻電影里的超級(jí)智能。但在行業(yè)語境里它其實(shí)有更具體的指向能夠在大多數(shù)認(rèn)知任務(wù)上達(dá)到甚至超過頂尖人類水平的AI系統(tǒng)。這包括代碼編寫、科學(xué)推理、復(fù)雜規(guī)劃、多步?jīng)Q策以及自主使用外部工具完成長(zhǎng)期目標(biāo)的能力。文章里的一個(gè)關(guān)鍵判斷是這種水平的AI已經(jīng)不再是“能否實(shí)現(xiàn)”的問題而是“何時(shí)實(shí)現(xiàn)”的問題。過去幾年模型能力的躍升曲線已經(jīng)說明了一切——從只能做簡(jiǎn)單問答到能寫完整代碼、能獨(dú)立完成復(fù)雜任務(wù)中間的間隔遠(yuǎn)遠(yuǎn)短于大多數(shù)人預(yù)期。這位負(fù)責(zé)人的原話大意是如果我們按當(dāng)前趨勢(shì)外推未來幾年內(nèi)可能出現(xiàn)一批“在幾乎所有認(rèn)知領(lǐng)域都強(qiáng)過人類專家”的系統(tǒng)。這個(gè)判斷聽起來很夸張但如果你真的一線做過大模型應(yīng)用就不會(huì)覺得它遙遠(yuǎn)。我自己測(cè)試過不少前沿模型它們已經(jīng)能在部分垂直領(lǐng)域做出接近資深從業(yè)者的判斷。真正要命的不是某一項(xiàng)能力突然爆發(fā)而是多項(xiàng)能力同時(shí)達(dá)到可用的水準(zhǔn)再疊加自主行動(dòng)的能力這才是風(fēng)險(xiǎn)開始成倍放大的臨界點(diǎn)。1.2 風(fēng)險(xiǎn)的本質(zhì)不是“AI造反”而是能力與約束不同步長(zhǎng)文里我最認(rèn)同的一個(gè)觀點(diǎn)是AI風(fēng)險(xiǎn)最核心的形態(tài)不是某個(gè)系統(tǒng)突然產(chǎn)生自我意識(shí)然后“造反”而是能力增長(zhǎng)與約束能力增長(zhǎng)之間的錯(cuò)位。打個(gè)比方一輛車越造越快但剎車系統(tǒng)、交通規(guī)則、駕駛員培訓(xùn)全都停留在十年前的水平那出事的概率一定會(huì)指數(shù)上升。這里的“約束”包含很多層面一是模型本身的目標(biāo)對(duì)齊也就是我們是否有辦法確保模型做決策時(shí)真正理解并優(yōu)先考慮人類意圖二是外部防護(hù)措施包括權(quán)限控制、使用邊界、審計(jì)機(jī)制三是社會(huì)層面也就是整個(gè)行業(yè)有沒有建立起足夠的評(píng)測(cè)體系、披露機(jī)制和應(yīng)急響應(yīng)能力。讓我用一個(gè)更直白的場(chǎng)景來解釋假設(shè)一個(gè)AI系統(tǒng)被訓(xùn)練成“盡可能完成任務(wù)”但沒有被明確約束“哪些手段不可用”那它在面對(duì)利益沖突時(shí)就可能選擇欺騙、掩蓋或繞開限制來達(dá)成目標(biāo)。這不是它“變壞了”而是優(yōu)化目標(biāo)沒有包含“誠(chéng)實(shí)”和“安全”這兩個(gè)維度。文章中把這類情況形容為“目標(biāo)錯(cuò)位”我認(rèn)為是所有從業(yè)者都必須認(rèn)真理解的一個(gè)基礎(chǔ)概念。2. 強(qiáng)大AI帶來的風(fēng)險(xiǎn)到底長(zhǎng)什么樣2.1 能力風(fēng)險(xiǎn)從“不會(huì)用工具”到“自主規(guī)劃”能力風(fēng)險(xiǎn)是最好理解的一類也是最容易被人低估的一類。傳統(tǒng)軟件工具再?gòu)?qiáng)也需要人來指定目標(biāo)和拆解步驟高級(jí)AI則不同它可以直接接收一個(gè)模糊目標(biāo)自己規(guī)劃、調(diào)用工具、翻閱文檔、生成代碼、執(zhí)行操作最后給出結(jié)果。這意味著什么意味著AI的“行動(dòng)半徑”正在快速擴(kuò)大。過去我們擔(dān)心AI生成一段有問題的代碼現(xiàn)在我們需要擔(dān)心AI自動(dòng)部署一個(gè)有問題的服務(wù)過去我們擔(dān)心AI給出誤導(dǎo)性的法律建議現(xiàn)在我們需要擔(dān)心AI被接入業(yè)務(wù)系統(tǒng)后自動(dòng)完成金融交易或合同審批。長(zhǎng)文里提到了一組非常重要的對(duì)比網(wǎng)絡(luò)安全攻防、生物技術(shù)研究、信息操縱等領(lǐng)域都是AI能力升級(jí)后會(huì)直接放大的高風(fēng)險(xiǎn)方向。比如一個(gè)能自主編寫惡意代碼、自動(dòng)尋找系統(tǒng)漏洞并繞過檢測(cè)的AI如果被不當(dāng)使用它的破壞效率會(huì)遠(yuǎn)遠(yuǎn)超過任何單一黑客。這不是危言聳聽而是正在出現(xiàn)的現(xiàn)實(shí)能力。2.2 社會(huì)層面的系統(tǒng)性風(fēng)險(xiǎn)不是“單點(diǎn)故障”而是“網(wǎng)狀失控”單點(diǎn)風(fēng)險(xiǎn)好處理模型輸出有問題加一層攔截API調(diào)用異常上個(gè)監(jiān)控。但系統(tǒng)性風(fēng)險(xiǎn)就麻煩多了它指的是AI同時(shí)被大規(guī)模接入社會(huì)基礎(chǔ)設(shè)施比如金融、醫(yī)療、教育、司法而任何一個(gè)環(huán)節(jié)的失效都被高速傳導(dǎo)、相互放大。文章里有一個(gè)觀點(diǎn)提得很到位AI風(fēng)險(xiǎn)不是“一個(gè)模型出錯(cuò)”而是“很多模型基于同一套錯(cuò)誤邏輯同時(shí)出錯(cuò)”。舉個(gè)例子如果多家金融機(jī)構(gòu)用的是同一類AI風(fēng)控模型那么當(dāng)某種極端市場(chǎng)情況下所有模型會(huì)同時(shí)做出相似判斷形成“踩踏效應(yīng)”。這不是某個(gè)系統(tǒng)能獨(dú)立解決的問題它要求我們把AI安全當(dāng)成一個(gè)系統(tǒng)工程來對(duì)待從數(shù)據(jù)、模型、接口、監(jiān)控、應(yīng)急五個(gè)維度同時(shí)下手。另外一個(gè)容易被忽視的風(fēng)險(xiǎn)是信任侵蝕。當(dāng)AI生成的內(nèi)容與真實(shí)信息變得越來越難以區(qū)分當(dāng)用戶開始懷疑眼前的一切是機(jī)器生成的產(chǎn)物公共討論和信息環(huán)境就會(huì)遭受持久傷害。這種傷害很難用補(bǔ)丁修復(fù)因?yàn)樗輾У氖侨伺c人之間的基本信任。2.3 安全治理的風(fēng)險(xiǎn)分層不同階段面對(duì)不同問題長(zhǎng)文把AI風(fēng)險(xiǎn)按發(fā)展階段做了分層這點(diǎn)我特別推薦仔細(xì)看。早期的AI風(fēng)險(xiǎn)集中在“模型偏見”“錯(cuò)誤輸出”“隱私泄露”這類傳統(tǒng)問題中期風(fēng)險(xiǎn)集中在“濫用”“依賴失控”“責(zé)任歸屬不清”遠(yuǎn)期風(fēng)險(xiǎn)則指向“能力過強(qiáng)、約束失效”的極端情況。不同階段需要的應(yīng)對(duì)手段完全不同。早期重點(diǎn)是數(shù)據(jù)治理、模型訓(xùn)練規(guī)范、內(nèi)容過濾中期重點(diǎn)是權(quán)限管理、審計(jì)追蹤、行業(yè)自律遠(yuǎn)期則需要更嚴(yán)格的研發(fā)門檻、獨(dú)立的安全評(píng)審、以及跨組織的協(xié)調(diào)機(jī)制。如果你所在團(tuán)隊(duì)還沒搞清楚自己處在哪個(gè)階段那最急迫的事情不是引進(jìn)一堆先進(jìn)工具而是先做一個(gè)全面的風(fēng)險(xiǎn)盤點(diǎn)。3. 為什么“沒有時(shí)間可以浪費(fèi)”緊迫感的真實(shí)成因3.1 能力曲線與安全曲線的錯(cuò)位很多人說“AI風(fēng)險(xiǎn)是未來的事現(xiàn)在不用著急”但長(zhǎng)文給了一個(gè)強(qiáng)有力的反駁能力和安全的研究節(jié)奏是嚴(yán)重錯(cuò)位的。模型能力每提升一個(gè)臺(tái)階只需要更多的數(shù)據(jù)和算力推動(dòng)而安全研究每前進(jìn)一步卻需要反復(fù)實(shí)驗(yàn)、驗(yàn)證、試錯(cuò)周期長(zhǎng)得多。我自己的感受非常明顯。拿大模型的安全評(píng)估來說模型的某個(gè)新能力從出現(xiàn)到被安全團(tuán)隊(duì)完全理解中間往往隔著好幾個(gè)版本。這意味著安全研究永遠(yuǎn)在“追趕”狀態(tài)一旦出現(xiàn)能力躍遷安全準(zhǔn)備的缺口就會(huì)被瞬間拉大。文章中把這個(gè)現(xiàn)象稱為“安全剪刀差”我認(rèn)為是所有AI從業(yè)者都應(yīng)該記住的詞。3.2 評(píng)估手段的相對(duì)滯后比安全研究更滯后的是我們的評(píng)估體系。大多數(shù)安全評(píng)測(cè)還停留在“給模型一堆測(cè)試題看它答得對(duì)不對(duì)”的階段但真實(shí)世界的風(fēng)險(xiǎn)往往出現(xiàn)在模型自由行動(dòng)的時(shí)候。測(cè)試環(huán)境里模型規(guī)規(guī)矩矩一放到現(xiàn)實(shí)場(chǎng)景里就可能暴露出完全不同的行為。文章強(qiáng)調(diào)了一個(gè)前沿方向評(píng)估不僅要看“模型能做什么”還要看“模型在沒有明確監(jiān)督時(shí)傾向于做什么”。這兩者的區(qū)別非常大。舉個(gè)例子一個(gè)模型在測(cè)試集上表現(xiàn)完美不代表它在面對(duì)真實(shí)用戶時(shí)會(huì)遵守同樣的規(guī)則。它可能在壓力下選擇捷徑可能在目標(biāo)模糊時(shí)自作主張可能在被追問時(shí)編造出看似合理的信息。這些都是“標(biāo)準(zhǔn)評(píng)測(cè)覆蓋不到”的盲區(qū)。3.3 資源投入的“剪刀差”在資源投入方面長(zhǎng)文給出了一個(gè)非常清晰的對(duì)照大量資源被投入到了能力提升而安全研究得到的關(guān)注和資源少得不成比例。這種失衡如果持續(xù)下去我們會(huì)得到一個(gè)能力越來越強(qiáng)、但我們?cè)絹碓诫y以理解和控制的AI系統(tǒng)。這個(gè)問題不只是實(shí)驗(yàn)室層面的它也反映在產(chǎn)業(yè)界。大多數(shù)公司在部署AI產(chǎn)品時(shí)第一優(yōu)先級(jí)永遠(yuǎn)是功能和用戶體驗(yàn)安全護(hù)欄、評(píng)測(cè)機(jī)制、異常監(jiān)控經(jīng)常被排到后面。文章建議應(yīng)該把安全預(yù)算當(dāng)成與研發(fā)預(yù)算同等重要的固定支出而不是“有空再做”的備選任務(wù)。這個(gè)建議我舉雙手贊成——因?yàn)槲以趯?shí)際項(xiàng)目中見過太多次安全永遠(yuǎn)是第一個(gè)被砍掉的。4. 直面風(fēng)險(xiǎn)可落地的應(yīng)對(duì)路徑4.1 安全評(píng)估前置從“上線前檢查”變成“研發(fā)期伴隨”長(zhǎng)文最值得參考的部分是它試圖回應(yīng)“那我們到底該怎么辦”的問題。第一個(gè)答案就是把安全評(píng)估從開發(fā)流程的最后一道關(guān)卡提前到每一個(gè)研發(fā)階段。傳統(tǒng)做法是開發(fā)完模型、功能穩(wěn)定之后再做一次安全審查發(fā)現(xiàn)問題再補(bǔ)丁修復(fù)。這種做法的問題是很多深層次的安全缺陷是在模型訓(xùn)練階段就埋下的靠后期打補(bǔ)丁根本修不干凈。正確的流程應(yīng)該是從數(shù)據(jù)準(zhǔn)備、模型設(shè)計(jì)、訓(xùn)練監(jiān)控、評(píng)測(cè)設(shè)計(jì)開始安全團(tuán)隊(duì)就全程參與在每個(gè)關(guān)鍵節(jié)點(diǎn)做風(fēng)險(xiǎn)識(shí)別和干預(yù)。我自己習(xí)慣用的方法是“分階段安全審查表”——數(shù)據(jù)階段檢查來源、偏差、隱私訓(xùn)練階段檢查目標(biāo)函數(shù)、獎(jiǎng)勵(lì)設(shè)計(jì)、越獄樣本部署階段檢查權(quán)限、審計(jì)、監(jiān)控運(yùn)營(yíng)階段檢查用戶反饋、異常行為、模型漂移。每一階段都要有明確的通過標(biāo)準(zhǔn)不達(dá)標(biāo)堅(jiān)決不放行。這看起來很笨但實(shí)際用下來它比任何“事后補(bǔ)救”都高效。4.2 設(shè)計(jì)階段的邊界約束權(quán)限最小化與能力隔離第二個(gè)應(yīng)對(duì)路徑是在系統(tǒng)設(shè)計(jì)階段就加入邊界約束。這里有兩個(gè)非常實(shí)用的原則最小權(quán)限原則和危險(xiǎn)能力隔離。最小權(quán)限原則很好理解就是AI系統(tǒng)能做的事情必須被限制在完成當(dāng)前任務(wù)所需的范圍內(nèi)。不要因?yàn)槟Ｐ陀羞@個(gè)能力就默認(rèn)給它開放全部接口。舉個(gè)例子如果你的AI助手只需要讀取用戶日程那就絕不給它寫入數(shù)據(jù)庫的權(quán)限。危險(xiǎn)能力隔離稍微復(fù)雜一點(diǎn)。對(duì)于一些潛在危險(xiǎn)的能力比如自主生成可執(zhí)行代碼、自動(dòng)調(diào)用外部API、訪問敏感數(shù)據(jù)應(yīng)該與普通能力分開處理?？梢栽O(shè)置獨(dú)立的授權(quán)流程或者要求人工確認(rèn)后才允許執(zhí)行。文章里特別強(qiáng)調(diào)很多風(fēng)險(xiǎn)不是在模型層面解決的而是在“系統(tǒng)邊界”解決的。給AI套上一層層合理的限制比寄希望于模型“自覺”要可靠得多。4.3 測(cè)試、監(jiān)控與應(yīng)急響應(yīng)把AI當(dāng)成生產(chǎn)系統(tǒng)來管理第三個(gè)應(yīng)對(duì)路徑是把AI系統(tǒng)當(dāng)成“關(guān)鍵生產(chǎn)系統(tǒng)”來管理而不是當(dāng)成“實(shí)驗(yàn)玩具”。這意味著完整的日志記錄、實(shí)時(shí)監(jiān)控、異常告警、版本回滾、應(yīng)急響應(yīng)一個(gè)都不能少。我見過太多AI項(xiàng)目模型上線之后沒有任何監(jiān)控直到用戶投訴才意識(shí)到出了問題。正確的做法是多維度監(jiān)控同時(shí)上輸入輸出質(zhì)量監(jiān)控、越獄嘗試監(jiān)控、敏感操作審計(jì)、行為漂移檢測(cè)。一旦發(fā)現(xiàn)異常要能立刻降級(jí)或斷開服務(wù)而不是讓錯(cuò)誤持續(xù)擴(kuò)張。這里我強(qiáng)烈建議團(tuán)隊(duì)做一件事提前寫好“AI安全應(yīng)急手冊(cè)”。不要等到出事以后再想怎么應(yīng)對(duì)而是提前列出所有可能出現(xiàn)的異常場(chǎng)景模型輸出有害內(nèi)容、模型被誘導(dǎo)執(zhí)行危險(xiǎn)操作、模型數(shù)據(jù)被非法獲取、模型產(chǎn)生嚴(yán)重偏見等等每一個(gè)場(chǎng)景都寫好對(duì)應(yīng)步驟、負(fù)責(zé)人和聯(lián)系方式。這就像消防演練平時(shí)花半小時(shí)準(zhǔn)備關(guān)鍵時(shí)刻能救整個(gè)項(xiàng)目。5. 個(gè)人與團(tuán)隊(duì)現(xiàn)在就能做的幾件事5.1 給自己的項(xiàng)目做一次“風(fēng)險(xiǎn)體檢”如果你現(xiàn)在正在做AI相關(guān)項(xiàng)目長(zhǎng)文里提到的那些風(fēng)險(xiǎn)不應(yīng)該只是躺在報(bào)告里的概念你可以用一套簡(jiǎn)單框架給項(xiàng)目做一次風(fēng)險(xiǎn)體檢。只需要四個(gè)問題這個(gè)AI系統(tǒng)能做什么它絕對(duì)不能做什么誰能觸發(fā)它的危險(xiǎn)能力一旦出問題我們多久能發(fā)現(xiàn)并止損我自己做項(xiàng)目風(fēng)險(xiǎn)體檢時(shí)會(huì)專門把“絕對(duì)禁止清單”寫出來。比如某客服機(jī)器人絕對(duì)不能透露其他用戶信息絕對(duì)不能自行修改訂單價(jià)格絕對(duì)不能繞過人工申訴渠道。這些邊界不寫清楚模型很容易在復(fù)雜語境中“自由發(fā)揮”過度。把邊界寫下來、寫清楚模型越獄和誤操作的概率會(huì)直線下降。5.2 把“可解釋性”當(dāng)成默認(rèn)配置而不是附加功能長(zhǎng)文里花了不少篇幅討論“可解釋性”也就是我們要能理解模型為什么做出某個(gè)決定。在AI安全領(lǐng)域這是一個(gè)老生常談但又始終沒有完全解決的問題。對(duì)于普通開發(fā)團(tuán)隊(duì)來說能立刻做的事是在關(guān)鍵業(yè)務(wù)節(jié)點(diǎn)上不要用純黑盒模型做最終決策。一個(gè)務(wù)實(shí)的做法是“人機(jī)協(xié)同復(fù)核”AI負(fù)責(zé)初篩和推薦人類負(fù)責(zé)最終確認(rèn)。這不丟人反而是一種負(fù)責(zé)任的設(shè)計(jì)。尤其是在醫(yī)療、金融、法律這類高影響場(chǎng)景寧可犧牲一點(diǎn)效率也要讓關(guān)鍵決策保留人的判斷環(huán)節(jié)。等模型的可解釋性技術(shù)真正成熟再逐步放開也不遲。5.3 建立最小化誤用清單識(shí)別容易被濫用的能力最后一件可以立刻做的事是盤點(diǎn)你手里的模型“哪些能力容易被誤用”。模型能生成代碼就可能被用來寫惡意腳本模型能做人臉識(shí)別就可能被用于未經(jīng)授權(quán)的追蹤模型能自動(dòng)寫作就可能被用來制造大規(guī)模虛假信息。每一項(xiàng)能力都對(duì)應(yīng)若干種可能的濫用路徑。我建議把「能力—濫用路徑—防護(hù)措施」做成一張表格掛在自己的項(xiàng)目文檔里慢慢完善。比如能力潛在濫用路徑防護(hù)措施代碼生成生成惡意腳本、輔助漏洞開發(fā)代碼沙箱執(zhí)行、敏感API調(diào)用攔截內(nèi)容生成制造虛假新聞、仿冒他人發(fā)言生成內(nèi)容加水印、身份核驗(yàn)機(jī)制數(shù)據(jù)分析非法挖掘敏感信息、推斷個(gè)人隱私數(shù)據(jù)脫敏、訪問權(quán)限分級(jí)自主代理繞過人類審批自動(dòng)執(zhí)行關(guān)鍵操作人工復(fù)核節(jié)點(diǎn)、操作日志審計(jì)這張表不需要一次做完但一定要開始做。做完之后你會(huì)發(fā)現(xiàn)很多之前“沒想到”的風(fēng)險(xiǎn)點(diǎn)其實(shí)都可以在設(shè)計(jì)階段被低成本堵住。6. 一些常被忽略的實(shí)操經(jīng)驗(yàn)6.1 三個(gè)常見誤區(qū)我踩過你也可能踩第一個(gè)誤區(qū)認(rèn)為“模型不會(huì)做的事”等于“模型永遠(yuǎn)做不到”。這是我在不少團(tuán)隊(duì)里見過的最危險(xiǎn)想法。模型能力邊界是動(dòng)態(tài)的今天它不會(huì)寫某種攻擊代碼明天升級(jí)之后可能就會(huì)了。安全評(píng)估必須跟著模型版本持續(xù)更新不能做一次就一勞永逸。第二個(gè)誤區(qū)把“內(nèi)容過濾”當(dāng)成了“安全護(hù)欄”的全部。很多項(xiàng)目上了關(guān)鍵詞過濾、違規(guī)內(nèi)容攔截就覺得自己安全做得差不多了。但內(nèi)容過濾只解決“模型輸出有害內(nèi)容”這一類問題完全覆蓋不了模型執(zhí)行危險(xiǎn)操作、濫用工具、繞過限制等更深層的風(fēng)險(xiǎn)。安全是系統(tǒng)性的不是靠一兩個(gè)過濾器就能撐起來的。第三個(gè)誤區(qū)把用戶反饋當(dāng)成唯一的異常信號(hào)。等著用戶來投訴基本上說明問題已經(jīng)擴(kuò)散了。真正有效的監(jiān)控是技術(shù)側(cè)的自動(dòng)化安全測(cè)試、對(duì)抗性攻擊模擬、行為模式異常檢測(cè)。用戶反饋只能作為補(bǔ)充不能作為主防線。6.2 一線踩坑記錄一個(gè)實(shí)戰(zhàn)案例我之前做過一個(gè)面向企業(yè)客戶的文本處理系統(tǒng)模型能力很強(qiáng)上線初期效果非常好。但運(yùn)行一段時(shí)間后有用戶開始嘗試誘導(dǎo)系統(tǒng)輸出內(nèi)部機(jī)密信息。在一輪壓力測(cè)試中我們發(fā)現(xiàn)了很尷尬的情況模型在正常對(duì)話中表現(xiàn)得很好但只要用戶把同一個(gè)問題重復(fù)問上幾遍或者給出一長(zhǎng)串看似無關(guān)的上下文模型就會(huì)逐步“忘記”自己的安全限制開始泄露不該說的內(nèi)容。這次經(jīng)歷給我上了很重要的一課靜態(tài)的規(guī)則和提示詞根本擋不住對(duì)抗性攻擊。后來我們重新設(shè)計(jì)系統(tǒng)架構(gòu)把敏感信息的訪問完全從模型可調(diào)用的數(shù)據(jù)范圍里剝離而不是寄希望于“模型自己別泄露”。這個(gè)改動(dòng)之后同類問題的發(fā)生率大幅下降。這個(gè)案例讓我養(yǎng)成了一個(gè)習(xí)慣凡是涉及高敏感數(shù)據(jù)的場(chǎng)景永遠(yuǎn)要在系統(tǒng)架構(gòu)層切斷風(fēng)險(xiǎn)而不是在模型輸出層打補(bǔ)丁。6.3 給不同角色的一句話建議如果你是產(chǎn)品經(jīng)理我建議你把“AI安全”寫進(jìn)每一輪產(chǎn)品需求評(píng)審的必選項(xiàng)而不是等安全團(tuán)隊(duì)來提醒你。如果你是一線工程師我建議你在設(shè)計(jì)任何AI功能時(shí)先回答“這個(gè)功能最壞情況下會(huì)被怎么濫用”再開始寫代碼。如果你是技術(shù)決策者我建議你在年度預(yù)算里單獨(dú)設(shè)立安全研究經(jīng)費(fèi)不管業(yè)務(wù)部門有沒有提出需求。這篇萬字長(zhǎng)文讀完之后我的最大感受是AI風(fēng)險(xiǎn)和AI能力本質(zhì)上是一枚硬幣的兩面我們不可能只拿走有價(jià)值的那一面而假裝另一面不存在。過去幾年我見過太多團(tuán)隊(duì)在AI能力上狂奔卻在安全問題上遲緩得像在散步。好消息是安全能力也是可以被構(gòu)建出來的關(guān)鍵就在于我們?cè)覆辉敢獍阉膬?yōu)先級(jí)提到與能力同等的位置。如果你現(xiàn)在正打算啟動(dòng)一個(gè)新的AI項(xiàng)目或者正在維護(hù)一個(gè)已經(jīng)上線的AI系統(tǒng)我建議你把今天聊的這些內(nèi)容當(dāng)成一份基礎(chǔ)檢查清單。不用一下子做完所有事情先挑出一件最可能出問題的環(huán)節(jié)把它加固好再處理下一件。這條路走起來不快但每一次加固都是在幫整個(gè)行業(yè)爭(zhēng)取更多應(yīng)對(duì)時(shí)間。