？LLM-as-Judge、幻覺檢測與Agent評測完整面試指南)
【免費(fèi)下載鏈接】ai-engineering-interview-questions-company-wiseYour Cheat Sheet For AI Engineering Interviews at Top AI Companies - Questions and Answers.項(xiàng)目地址https://gitcode.com/gh_mirrors/ai/ai-engineering-interview-questions-company-wise點(diǎn)擊查看免費(fèi)下載大模型系統(tǒng)評估是 AI 工程面試中被問得最多的主題之一。本文基于開源項(xiàng)目ai-engineering-interview-questions-company-wise——一個(gè)收錄了 Anthropic、OpenAI、Perplexity、Cognition 等 35 家頂級 AI 公司真實(shí)面試題的 Cheat Sheet——帶你系統(tǒng)拆解三大高頻考點(diǎn)LLM-as-Judge、**幻覺檢測Hallucination Detection**與Agent 評測并附上可直接對照的題庫原文位置幫你在面試前快速搭起一套能講得出、畫得出的評估框架。為什么如何評估大模型系統(tǒng)幾乎必考翻遍題庫你會(huì)發(fā)現(xiàn)一個(gè)規(guī)律Evaluation Observability 幾乎是 35 家公司面試流程的標(biāo)配環(huán)節(jié)。在跨公司通用題部分README.md光評估類問題就有 12 道且?guī)缀趺款}都標(biāo)注了出處公司。面試官想考察的不是背誦定義而是三個(gè)遞進(jìn)的能力離線評估上線前怎么證明系統(tǒng)好用評估集、指標(biāo)、裁判回歸門禁改一個(gè) prompt、換一個(gè)模型版本怎么證明沒變差在線監(jiān)控上線后怎么持續(xù)度量質(zhì)量、成本和用戶反饋下面逐個(gè)拆解題庫中的真題與答題思路。LLM-as-Judge用模型評委給大模型打分這道題怎么問Design an LLM-as-judge evaluation. What are its known biases and how do you correct for them? ——出自 Perplexity見 README.md當(dāng)回答沒有標(biāo)準(zhǔn)答案開放問答、摘要、客服對話時(shí)人工評估太貴業(yè)界通用做法是用一個(gè)更強(qiáng)的 LLM 當(dāng)評委按評分標(biāo)準(zhǔn)rubric給候選回答打分。高分回答的三個(gè)要點(diǎn)設(shè)計(jì)評審協(xié)議先寫清楚 rubric正確性、完整性、語氣等維度讓裁判模型輸出分?jǐn)?shù) 理由而不是模糊的好/壞點(diǎn)名已知偏差位置偏差A(yù)/B 對比時(shí)偏愛放在前面的回答、冗長偏差偏愛更長的答案、自我偏好偏愛和自己風(fēng)格相似的輸出給出修正手段交換 A/B 位置各評一次取均值、定期抽樣人工校準(zhǔn)裁判、用不同家族的模型交叉評審。想答得更有深度可以順帶引用 Perplexity 的另一道在線評估題如何持續(xù)、大規(guī)模地評估答案質(zhì)量同時(shí)結(jié)合自動(dòng)信號(hào)和人工信號(hào)README.md——把離線 Judge 和在線評估串起來就是完整的評估閉環(huán)?；糜X檢測生產(chǎn)級 RAG 系統(tǒng)怎么測量胡說這道題怎么問How do you detect and measure hallucinations in a production RAG system? ——出自 Anthropic、OpenAI、Cursor見 README.md推薦的答題框架把幻覺量化聲明級拆解Claim Decomposition把生成的回答拆成一條條原子聲明公司成立于 2009 年退款周期 3 天……溯源校驗(yàn)Attribution每條聲明必須能在檢索到的源文本片段中找到支撐找不到的就標(biāo)記為無依據(jù)聲明。Harvey法律 AI的面試甚至要求每個(gè)斷言都要鏈接到具體段落并設(shè)計(jì)系統(tǒng)測量無依據(jù)聲明率unsupported-claim rateREADME.md計(jì)算指標(biāo)幻覺率 無依據(jù)聲明數(shù) ÷ 總聲明數(shù)再疊加抽樣人工復(fù)核當(dāng)作安全事件處理Abridge醫(yī)療 AI的真題最典型——生成的病歷里出現(xiàn)了患者從未提到的藥物如何在其被醫(yī)生看到之前發(fā)現(xiàn)README.md。這提示你高置信的錯(cuò)誤正是幻覺最危險(xiǎn)的地方檢測要跑在人看到之前。沒有標(biāo)注數(shù)據(jù)怎么辦Cohere 和 Harvey 都問過變體沒有標(biāo)簽、專家又很貴怎么構(gòu)建評估集README.md——答法是從線上日志抽樣 LLM-as-Judge 初篩 少量專家終審滾動(dòng)沉淀成評估集。Agent 評測從單條回復(fù)到完整任務(wù)這道題怎么問How would you evaluate an agent, as opposed to a single model response? ——出自 Moonshot AI、Zhipu AI、Scale AI、Cognition見 README.md評估單條回復(fù)看這一次答得好不好評估 Agent 看的是一整個(gè)任務(wù)鏈路工具調(diào)用是否正確、多步推理有沒有跑偏、最終任務(wù)完成度、花了多少步和多少錢。三個(gè)能拉開差距的反直覺追問題庫里有三道題專門考察你是否真的懂 Agent 評測為什么 SWE-bench 的通過率會(huì)誤導(dǎo)人—— Cognition 原題考察你理解離線基準(zhǔn)通過率 ≠ 真實(shí)任務(wù)完成率README.md你的 Agent 通過了 92% 的評估任務(wù)。這個(gè)數(shù)字為什么可能是錯(cuò)的你還測什么—— Sierra 原題答案是評估集可能太簡單、覆蓋了高頻路徑卻漏掉長尾場景應(yīng)補(bǔ)充分布覆蓋度分析和線上真實(shí)任務(wù)采樣README.md怎么在 SWE-bench 和 τ-bench 上評估 Agent 而不自欺欺人—— Zhipu AI 原題指向基準(zhǔn)污染與過擬合問題README.md。與之配套的還有兩道具箱即用的設(shè)計(jì)題回歸門禁——設(shè)計(jì)一個(gè)門禁決定某個(gè) prompt 或模型變更能否上線AnthropicREADME.md在線評估——記什么日志、采什么樣本、A/B 測什么PerplexityREADME.md。35 家公司評估類真題速查表公司代表性評估真題出處Anthropic設(shè)計(jì)實(shí)驗(yàn)檢測某項(xiàng)涌現(xiàn)能力/偏差prompt 變更回歸門禁README.mdOpenAI客戶說升級模型版本后效果變差如何驗(yàn)證與響應(yīng)README.mdGoogle DeepMind為新旗艦?zāi)Ｐ桶l(fā)布構(gòu)建評估框架evaluation harnessREADME.mdCognition如何評估自主軟件工程 AgentSWE-bench 為何誤導(dǎo)README.mdSierra對話空間近乎無限上線前如何評估對話 AgentREADME.mdPerplexity大規(guī)模持續(xù)評估答案質(zhì)量在線評估該 A/B 什么README.mdScale AI無 ground truth 的主觀偏好任務(wù)如何度量標(biāo)注質(zhì)量README.mdHarvey設(shè)計(jì) grounding 系統(tǒng)測量無依據(jù)聲明率README.mdMoonshot AIAgent 模型好不好不能只看一個(gè)基準(zhǔn)分?jǐn)?shù)README.mdAbridge兩位醫(yī)生寫的病歷不同病歷質(zhì)量到底怎么評README.md三步備考路線如何用這份題庫先讀通用題重點(diǎn)刷 Evaluation and Observability 小節(jié)把這 12 道題按離線評估集 → LLM-as-Judge → 回歸門禁 → 在線監(jiān)控四層框架各想一遍答案再刷目標(biāo)公司按表格定位你心儀公司章節(jié)重點(diǎn)看評估類真題結(jié)合該公司的業(yè)務(wù)場景法律、醫(yī)療、搜索、Agent 產(chǎn)品調(diào)整措辭最后做輸出演練任選一道真題嘗試在白板上畫出評估集 裁判 門禁 監(jiān)控的完整鏈路圖這就是面試官最想看到的畫面。本地拿到題庫git clone https://gitcode.com/gh_mirrors/ai/ai-engineering-interview-questions-company-wise寫在最后一句話總結(jié)面試心法評估大模型系統(tǒng) 離線評估集 LLM-as-Judge 裁判 回歸門禁 在線監(jiān)控四件套缺一不可。把這四件講透再引用一兩道真題細(xì)節(jié)比如無依據(jù)聲明率92% 為什么誤導(dǎo)你在評估類問題上的回答就會(huì)明顯高于平均水平。祝面試順利贊分享【免費(fèi)下載鏈接】ai-engineering-interview-questions-company-wiseYour Cheat Sheet For AI Engineering Interviews at Top AI Companies - Questions and Answers.項(xiàng)目地址https://gitcode.com/gh_mirrors/ai/ai-engineering-interview-questions-company-wise點(diǎn)擊查看免費(fèi)下載相關(guān)推薦garak 檢測器指南garak.detectors.judge——用 LLM-as-a-Judge 評估目標(biāo)模型響應(yīng)garak 檢測器指南garak.detectors.judge——用 LLM as a Judge 評估目標(biāo)模型響應(yīng) 導(dǎo)讀 garak.detectors.人工智能大模型模型評測紅藍(lán)對抗提示詞注入防護(hù)模型安全AI 安全治理OpenCompass 主觀評測指南基于 LLM-as-a-Judge 的模型能力評估OpenCompass 主觀評測指南基于 LLM as a Judge 的模型能力評估 導(dǎo)讀 主觀評測旨在衡量模型在與人類偏好對齊的任務(wù)上的表現(xiàn)其核心評判標(biāo)模型評測人工智能大模型AI 評測Agno Agent-as-Judge 評測指南用 LLM 裁判自動(dòng)化評估 Agent 輸出質(zhì)量Agno Agent as Judge 評測指南用 LLM 裁判自動(dòng)化評估 Agent 輸出質(zhì)量 導(dǎo)讀 本文圍繞 Agno 開源倉庫中 cookbook/09人工智能大模型AI AgentAgent 框架多智能體工具調(diào)用RAGAgent 工作流Agent 記憶創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何評估大模型系統(tǒng)？LLM-as-Judge、幻覺檢測與Agent評測完整面試指南
【免費(fèi)下載鏈接】ai-engineering-interview-questions-company-wiseYour Cheat Sheet For AI Engineering Interviews at Top AI Companies - Questions and Answers.項(xiàng)目地址https://gitcode.com/gh_mirrors/ai/ai-engineering-interview-questions-company-wise點(diǎn)擊查看免費(fèi)下載大模型系統(tǒng)評估是 AI 工程面試中被問得最多的主題之一。本文基于開源項(xiàng)目ai-engineering-interview-questions-company-wise——一個(gè)收錄了 Anthropic、OpenAI、Perplexity、Cognition 等 35 家頂級 AI 公司真實(shí)面試題的 Cheat Sheet——帶你系統(tǒng)拆解三大高頻考點(diǎn)LLM-as-Judge、**幻覺檢測Hallucination Detection**與Agent 評測并附上可直接對照的題庫原文位置幫你在面試前快速搭起一套能講得出、畫得出的評估框架。為什么如何評估大模型系統(tǒng)幾乎必考翻遍題庫你會(huì)發(fā)現(xiàn)一個(gè)規(guī)律Evaluation Observability 幾乎是 35 家公司面試流程的標(biāo)配環(huán)節(jié)。在跨公司通用題部分README.md光評估類問題就有 12 道且?guī)缀趺款}都標(biāo)注了出處公司。面試官想考察的不是背誦定義而是三個(gè)遞進(jìn)的能力離線評估上線前怎么證明系統(tǒng)好用評估集、指標(biāo)、裁判回歸門禁改一個(gè) prompt、換一個(gè)模型版本怎么證明沒變差在線監(jiān)控上線后怎么持續(xù)度量質(zhì)量、成本和用戶反饋下面逐個(gè)拆解題庫中的真題與答題思路。LLM-as-Judge用模型評委給大模型打分這道題怎么問Design an LLM-as-judge evaluation. What are its known biases and how do you correct for them? ——出自 Perplexity見 README.md當(dāng)回答沒有標(biāo)準(zhǔn)答案開放問答、摘要、客服對話時(shí)人工評估太貴業(yè)界通用做法是用一個(gè)更強(qiáng)的 LLM 當(dāng)評委按評分標(biāo)準(zhǔn)rubric給候選回答打分。高分回答的三個(gè)要點(diǎn)設(shè)計(jì)評審協(xié)議先寫清楚 rubric正確性、完整性、語氣等維度讓裁判模型輸出分?jǐn)?shù) 理由而不是模糊的好/壞點(diǎn)名已知偏差位置偏差A(yù)/B 對比時(shí)偏愛放在前面的回答、冗長偏差偏愛更長的答案、自我偏好偏愛和自己風(fēng)格相似的輸出給出修正手段交換 A/B 位置各評一次取均值、定期抽樣人工校準(zhǔn)裁判、用不同家族的模型交叉評審。想答得更有深度可以順帶引用 Perplexity 的另一道在線評估題如何持續(xù)、大規(guī)模地評估答案質(zhì)量同時(shí)結(jié)合自動(dòng)信號(hào)和人工信號(hào)README.md——把離線 Judge 和在線評估串起來就是完整的評估閉環(huán)?；糜X檢測生產(chǎn)級 RAG 系統(tǒng)怎么測量胡說這道題怎么問How do you detect and measure hallucinations in a production RAG system? ——出自 Anthropic、OpenAI、Cursor見 README.md推薦的答題框架把幻覺量化聲明級拆解Claim Decomposition把生成的回答拆成一條條原子聲明公司成立于 2009 年退款周期 3 天……溯源校驗(yàn)Attribution每條聲明必須能在檢索到的源文本片段中找到支撐找不到的就標(biāo)記為無依據(jù)聲明。Harvey法律 AI的面試甚至要求每個(gè)斷言都要鏈接到具體段落并設(shè)計(jì)系統(tǒng)測量無依據(jù)聲明率unsupported-claim rateREADME.md計(jì)算指標(biāo)幻覺率 無依據(jù)聲明數(shù) ÷ 總聲明數(shù)再疊加抽樣人工復(fù)核當(dāng)作安全事件處理Abridge醫(yī)療 AI的真題最典型——生成的病歷里出現(xiàn)了患者從未提到的藥物如何在其被醫(yī)生看到之前發(fā)現(xiàn)README.md。這提示你高置信的錯(cuò)誤正是幻覺最危險(xiǎn)的地方檢測要跑在人看到之前。沒有標(biāo)注數(shù)據(jù)怎么辦Cohere 和 Harvey 都問過變體沒有標(biāo)簽、專家又很貴怎么構(gòu)建評估集README.md——答法是從線上日志抽樣 LLM-as-Judge 初篩 少量專家終審滾動(dòng)沉淀成評估集。Agent 評測從單條回復(fù)到完整任務(wù)這道題怎么問How would you evaluate an agent, as opposed to a single model response? ——出自 Moonshot AI、Zhipu AI、Scale AI、Cognition見 README.md評估單條回復(fù)看這一次答得好不好評估 Agent 看的是一整個(gè)任務(wù)鏈路工具調(diào)用是否正確、多步推理有沒有跑偏、最終任務(wù)完成度、花了多少步和多少錢。三個(gè)能拉開差距的反直覺追問題庫里有三道題專門考察你是否真的懂 Agent 評測為什么 SWE-bench 的通過率會(huì)誤導(dǎo)人—— Cognition 原題考察你理解離線基準(zhǔn)通過率 ≠ 真實(shí)任務(wù)完成率README.md你的 Agent 通過了 92% 的評估任務(wù)。這個(gè)數(shù)字為什么可能是錯(cuò)的你還測什么—— Sierra 原題答案是評估集可能太簡單、覆蓋了高頻路徑卻漏掉長尾場景應(yīng)補(bǔ)充分布覆蓋度分析和線上真實(shí)任務(wù)采樣README.md怎么在 SWE-bench 和 τ-bench 上評估 Agent 而不自欺欺人—— Zhipu AI 原題指向基準(zhǔn)污染與過擬合問題README.md。與之配套的還有兩道具箱即用的設(shè)計(jì)題回歸門禁——設(shè)計(jì)一個(gè)門禁決定某個(gè) prompt 或模型變更能否上線AnthropicREADME.md在線評估——記什么日志、采什么樣本、A/B 測什么PerplexityREADME.md。35 家公司評估類真題速查表公司代表性評估真題出處Anthropic設(shè)計(jì)實(shí)驗(yàn)檢測某項(xiàng)涌現(xiàn)能力/偏差prompt 變更回歸門禁README.mdOpenAI客戶說升級模型版本后效果變差如何驗(yàn)證與響應(yīng)README.mdGoogle DeepMind為新旗艦?zāi)Ｐ桶l(fā)布構(gòu)建評估框架evaluation harnessREADME.mdCognition如何評估自主軟件工程 AgentSWE-bench 為何誤導(dǎo)README.mdSierra對話空間近乎無限上線前如何評估對話 AgentREADME.mdPerplexity大規(guī)模持續(xù)評估答案質(zhì)量在線評估該 A/B 什么README.mdScale AI無 ground truth 的主觀偏好任務(wù)如何度量標(biāo)注質(zhì)量README.mdHarvey設(shè)計(jì) grounding 系統(tǒng)測量無依據(jù)聲明率README.mdMoonshot AIAgent 模型好不好不能只看一個(gè)基準(zhǔn)分?jǐn)?shù)README.mdAbridge兩位醫(yī)生寫的病歷不同病歷質(zhì)量到底怎么評README.md三步備考路線如何用這份題庫先讀通用題重點(diǎn)刷 Evaluation and Observability 小節(jié)把這 12 道題按離線評估集 → LLM-as-Judge → 回歸門禁 → 在線監(jiān)控四層框架各想一遍答案再刷目標(biāo)公司按表格定位你心儀公司章節(jié)重點(diǎn)看評估類真題結(jié)合該公司的業(yè)務(wù)場景法律、醫(yī)療、搜索、Agent 產(chǎn)品調(diào)整措辭最后做輸出演練任選一道真題嘗試在白板上畫出評估集 裁判 門禁 監(jiān)控的完整鏈路圖這就是面試官最想看到的畫面。本地拿到題庫git clone https://gitcode.com/gh_mirrors/ai/ai-engineering-interview-questions-company-wise寫在最后一句話總結(jié)面試心法評估大模型系統(tǒng) 離線評估集 LLM-as-Judge 裁判 回歸門禁 在線監(jiān)控四件套缺一不可。把這四件講透再引用一兩道真題細(xì)節(jié)比如無依據(jù)聲明率92% 為什么誤導(dǎo)你在評估類問題上的回答就會(huì)明顯高于平均水平。祝面試順利贊分享【免費(fèi)下載鏈接】ai-engineering-interview-questions-company-wiseYour Cheat Sheet For AI Engineering Interviews at Top AI Companies - Questions and Answers.項(xiàng)目地址https://gitcode.com/gh_mirrors/ai/ai-engineering-interview-questions-company-wise點(diǎn)擊查看免費(fèi)下載相關(guān)推薦garak 檢測器指南garak.detectors.judge——用 LLM-as-a-Judge 評估目標(biāo)模型響應(yīng)garak 檢測器指南garak.detectors.judge——用 LLM as a Judge 評估目標(biāo)模型響應(yīng) 導(dǎo)讀 garak.detectors.人工智能大模型模型評測紅藍(lán)對抗提示詞注入防護(hù)模型安全AI 安全治理OpenCompass 主觀評測指南基于 LLM-as-a-Judge 的模型能力評估OpenCompass 主觀評測指南基于 LLM as a Judge 的模型能力評估 導(dǎo)讀 主觀評測旨在衡量模型在與人類偏好對齊的任務(wù)上的表現(xiàn)其核心評判標(biāo)模型評測人工智能大模型AI 評測Agno Agent-as-Judge 評測指南用 LLM 裁判自動(dòng)化評估 Agent 輸出質(zhì)量Agno Agent as Judge 評測指南用 LLM 裁判自動(dòng)化評估 Agent 輸出質(zhì)量 導(dǎo)讀 本文圍繞 Agno 開源倉庫中 cookbook/09人工智能大模型AI AgentAgent 框架多智能體工具調(diào)用RAGAgent 工作流Agent 記憶創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考