險(xiǎn)不該靠感覺(jué):企業(yè)如何量化、定價(jià)與管理)
負(fù)責(zé)AI風(fēng)險(xiǎn)的團(tuán)隊(duì)正被夾在兩種目標(biāo)之間一方面要保護(hù)企業(yè)免受損害另一方面又要支持AI更快、更廣泛地落地而且資源往往沒(méi)有增加。MLCommons認(rèn)為AI governance的價(jià)值正在于此把風(fēng)險(xiǎn)管理與業(yè)務(wù)優(yōu)先級(jí)、公司價(jià)值觀和可審計(jì)的證據(jù)連接起來(lái)。AI風(fēng)險(xiǎn)本來(lái)就在企業(yè)賬本上成熟組織早已擁有風(fēng)險(xiǎn)管理閉環(huán)識(shí)別風(fēng)險(xiǎn)敞口、估算預(yù)期損失、按風(fēng)險(xiǎn)水平配置控制措施并向有責(zé)任的管理層報(bào)告剩余風(fēng)險(xiǎn)。保險(xiǎn)公司為風(fēng)險(xiǎn)定價(jià)審計(jì)機(jī)構(gòu)進(jìn)行測(cè)試董事會(huì)最終簽字確認(rèn)。企業(yè)對(duì)安全事故的代價(jià)并不陌生而AI正在放大這些成本。IBM 2025年 Cost of a Data Breach 報(bào)告顯示全球數(shù)據(jù)泄露平均成本為 444萬(wàn)美元美國(guó)則達(dá)到創(chuàng)紀(jì)錄的 1022萬(wàn)美元。同一研究還發(fā)現(xiàn)AI采用速度已經(jīng)超過(guò)AI監(jiān)督能力在發(fā)生泄露的組織中63% 沒(méi)有AI governance政策或仍在制定中大量使用“shadow AI”的組織數(shù)據(jù)泄露成本平均還會(huì)增加約 67萬(wàn)美元。監(jiān)管層面的后果同樣不可忽視。即便是在生成式AI出現(xiàn)之前GDPR和CCPA等制度已經(jīng)對(duì)AI可能涉及的自動(dòng)化決策提出嚴(yán)格要求。EU AI Act的處罰更具震懾力最高可達(dá) 3500萬(wàn)歐元 或全球營(yíng)業(yè)額的 7%這讓主動(dòng)管理AI風(fēng)險(xiǎn)成為企業(yè)無(wú)法回避的議題。好消息是管理已部署AI系統(tǒng)的風(fēng)險(xiǎn)并不需要一套全新的哲學(xué)。企業(yè)只需要像對(duì)待其他運(yùn)營(yíng)風(fēng)險(xiǎn)一樣要求足夠可靠的證據(jù)并采用適合AI場(chǎng)景的新測(cè)量工具。航空業(yè)的啟示可測(cè)量才可被信任有效管理新風(fēng)險(xiǎn)的回報(bào)不只是避免損失還能塑造整個(gè)行業(yè)的健康發(fā)展。1959年美國(guó)商業(yè)航空每百萬(wàn)次起飛約發(fā)生 40起 致命事故不到十年這一數(shù)字降至 2起以下此后半個(gè)世紀(jì)里大致每十年繼續(xù)減半。航空變得安全是因?yàn)樾袠I(yè)建立了持續(xù)迭代的風(fēng)險(xiǎn)管理機(jī)器。測(cè)量讓飛行變得足夠安全足以贏得信任也足以被大規(guī)模承保。如今每年數(shù)十億乘客以及支撐超過(guò) 3萬(wàn)架 商用飛機(jī)的貸款方和保險(xiǎn)方都把飛行視為一種常規(guī)活動(dòng)?!白约航o自己打分”的時(shí)代正在結(jié)束AI風(fēng)險(xiǎn)管理離不開(kāi)可信測(cè)量。要建立信任組織需要采用獨(dú)立、透明的評(píng)估機(jī)制。制藥公司不會(huì)自行裁定自己的臨床試驗(yàn)結(jié)果上市公司也不會(huì)自行審計(jì)財(cái)務(wù)報(bào)表。但在AI市場(chǎng)中供應(yīng)商仍然經(jīng)常自設(shè)benchmark、自行運(yùn)行測(cè)試并發(fā)布結(jié)果。一個(gè)AI代碼審查案例顯示某供應(yīng)商自測(cè)稱其bug捕獲率達(dá)到 82%競(jìng)爭(zhēng)對(duì)手在相同代碼庫(kù)上復(fù)測(cè)后得到 45%而當(dāng)一個(gè)無(wú)利益相關(guān)的實(shí)驗(yàn)室建立獨(dú)立benchmark時(shí)沒(méi)有任何供應(yīng)商超過(guò) 63%。產(chǎn)品沒(méi)有變化變化的是誰(shuí)在裁判。AILuminate讓供應(yīng)商不再自出考卷MLCommons推出的AILuminate?正是為彌補(bǔ)這一缺口而設(shè)計(jì)。該項(xiàng)目于2024年12月發(fā)布是一組獨(dú)立、由共識(shí)機(jī)制治理的benchmark用來(lái)評(píng)估AI系統(tǒng)在避免有害回答方面的可靠性。AILuminate由來(lái)自AI公司、學(xué)術(shù)界和民間社會(huì)的工作組共同建設(shè)并通過(guò)私有測(cè)試集和獨(dú)立評(píng)估者保護(hù)測(cè)試完整性。換句話說(shuō)供應(yīng)商不能自己出題不能提前看到題目也不能掌握評(píng)分權(quán)。治理團(tuán)隊(duì)可以如何使用這些分?jǐn)?shù)識(shí)別風(fēng)險(xiǎn)集中點(diǎn)按危害類別給出的模型評(píng)分可以顯示類似用例中的風(fēng)險(xiǎn)敞口集中在哪里為risk register提供基礎(chǔ)材料。指導(dǎo)控制措施如果系統(tǒng)在對(duì)抗性壓力下評(píng)分顯著下滑這就不是一句籠統(tǒng)的“要謹(jǐn)慎”而是有證據(jù)支撐的指令需要在系統(tǒng)層構(gòu)建guardrails。測(cè)試真實(shí)部署配置采購(gòu)方應(yīng)使用與供應(yīng)商相同的測(cè)試方法評(píng)估自己實(shí)際部署的配置?;A(chǔ)模型的分?jǐn)?shù)類似汽車出廠油耗標(biāo)簽它說(shuō)明的是交付狀態(tài)而不是你在通勤路線上真實(shí)得到的油耗。部署前后的評(píng)分都應(yīng)進(jìn)入risk register可量化、可比較、可審計(jì)。這些分?jǐn)?shù)不僅是給外部看的證據(jù)也能作為企業(yè)持續(xù)改進(jìn)、發(fā)現(xiàn)回歸問(wèn)題的反饋機(jī)制。AI assurance鏈條的方向已經(jīng)很清楚。2025年末主要保險(xiǎn)公司曾要求美國(guó)監(jiān)管機(jī)構(gòu)允許其將AI相關(guān)責(zé)任排除在企業(yè)保單之外。這并不是因?yàn)锳I風(fēng)險(xiǎn)不可管理而是因?yàn)槿鄙贉y(cè)量方法無(wú)法測(cè)量的風(fēng)險(xiǎn)也就難以承保。必須測(cè)試你真正部署的系統(tǒng)基礎(chǔ)模型的評(píng)分只能證明模型從開(kāi)發(fā)者手中交付時(shí)的表現(xiàn)卻無(wú)法說(shuō)明它在企業(yè)環(huán)境中的真實(shí)運(yùn)行狀態(tài)。多數(shù)組織并不會(huì)直接部署裸模型而是把模型接入prompt、內(nèi)部數(shù)據(jù)、工具調(diào)用有時(shí)還會(huì)讓其以agent形式工作。正是這些“harnessing”讓模型變得有用但也會(huì)讓供應(yīng)商內(nèi)置的安全措施變得脆弱。這種保證機(jī)制的演進(jìn)可以從Agent Reliability Profile等工作中看到。該項(xiàng)目來(lái)自MLCommons金融服務(wù)工作組并入圍了今年的CDIR hackathon決賽。它是一種面向單個(gè)agent的證明性文件記錄一個(gè)有邊界、可證偽的聲明某個(gè)系統(tǒng)能在特定autonomy tier、特定operational design domain和特定control envelope內(nèi)可靠運(yùn)行。這不是對(duì)agent是否“值得信任”的模糊感覺(jué)而是審計(jì)機(jī)構(gòu)或保險(xiǎn)公司可以核查的具體主張。像管理其他風(fēng)險(xiǎn)一樣管理AI風(fēng)險(xiǎn)MLCommons的核心觀點(diǎn)是AI風(fēng)險(xiǎn)可以被識(shí)別、定價(jià)、按比例管理并報(bào)告就像企業(yè)數(shù)十年來(lái)管理信用風(fēng)險(xiǎn)、匯率敞口和工作場(chǎng)所安全一樣。這樣做不是AI采用的剎車而是負(fù)責(zé)任獲取AI收益的前提。AI風(fēng)險(xiǎn)已經(jīng)在企業(yè)賬本上。真正的問(wèn)題是企業(yè)是否愿意開(kāi)始測(cè)量它。MLCommons表示AILuminate旨在幫助組織解決這一問(wèn)題并支持團(tuán)隊(duì)衡量AI風(fēng)險(xiǎn)。本文概述自更長(zhǎng)的白皮書 How to Think About AI Risk: A business owner’s guide to a cost you can already measure, price, and manage。McKinseyThe State of AI2025與 The AI reckoning: How boards can evolve2026PwC2026 Annual Corporate Directors SurveyIBMCost of a Data Breach2025Center for Democracy TechnologyGetting Third-Party AI Assessment Right2026NISTAI Risk Management FrameworkMLCommonsAILuminate v1.1 and Jailbreak Benchmark v1.0arXiv:2610.028272026年6月本文首發(fā)于贏政天下 (https://www.winzheng.com/review/ai-risk-business-guide)獲取更多深度技術(shù)內(nèi)容與資源歡迎訪問(wèn)官網(wǎng)。