久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

從零構(gòu)建LLM基準(zhǔn)測(cè)試工具:Ed-O-Meter實(shí)踐指南

從零構(gòu)建LLM基準(zhǔn)測(cè)試工具:Ed-O-Meter實(shí)踐指南 這次我們來看一個(gè)名為“Ed-O-Meter”的LLM基準(zhǔn)測(cè)試工具。它不是另一個(gè)龐大的評(píng)測(cè)榜單而是一個(gè)開發(fā)者視角下的、用于構(gòu)建和運(yùn)行自定義大語言模型評(píng)測(cè)的實(shí)踐框架。核心在于它讓你能脫離對(duì)現(xiàn)有評(píng)測(cè)平臺(tái)如OpenAI Evals、LMSys Arena的依賴根據(jù)自己的需求快速搭建一套從數(shù)據(jù)準(zhǔn)備、模型調(diào)用到結(jié)果分析的本地化評(píng)測(cè)流水線。對(duì)于開發(fā)者、研究者和技術(shù)決策者而言大模型評(píng)測(cè)常常面臨幾個(gè)痛點(diǎn)公開榜單的測(cè)試集可能不匹配業(yè)務(wù)場(chǎng)景調(diào)用商業(yè)API如OpenAI、Anthropic評(píng)測(cè)成本高且存在隱私風(fēng)險(xiǎn)而使用開源評(píng)測(cè)框架如lm-evaluation-harness又可能面臨環(huán)境配置復(fù)雜、擴(kuò)展性不足的問題。Ed-O-Meter正是試圖解決這些“最后一公里”的問題它強(qiáng)調(diào)輕量、可定制和本地化運(yùn)行讓你能圍繞自己的“私有”問題集對(duì)本地部署的模型或通過API訪問的模型進(jìn)行可控、可復(fù)現(xiàn)的評(píng)估。本文將帶你深入理解如何構(gòu)建自己的LLM Benchmark。我們會(huì)從Ed-O-Meter的核心設(shè)計(jì)理念出發(fā)拆解一個(gè)基準(zhǔn)測(cè)試工具需要具備哪些模塊如任務(wù)定義、模型適配、評(píng)估器、結(jié)果可視化然后提供一套從零開始的實(shí)踐指南。重點(diǎn)不在于復(fù)現(xiàn)一個(gè)完全一樣的“Ed-O-Meter”而在于掌握自建評(píng)測(cè)體系的方法論和關(guān)鍵技術(shù)棧讓你能根據(jù)手頭的資源無論是單張消費(fèi)級(jí)顯卡還是僅能調(diào)用云端API搭建起符合自己需求的模型能力度量衡。1. 核心能力速覽自建LLM基準(zhǔn)測(cè)試需要什么在開始動(dòng)手之前我們先明確一個(gè)自建評(píng)測(cè)工具的核心能力構(gòu)成。下表概括了關(guān)鍵組件及其在Ed-O-Meter這類工具中的典型實(shí)現(xiàn)方式能力項(xiàng)說明與典型實(shí)現(xiàn)評(píng)測(cè)目標(biāo)評(píng)估模型在特定任務(wù)如代碼生成、邏輯推理、領(lǐng)域問答上的性能而非追求通用排行榜。任務(wù)與數(shù)據(jù)集支持自定義JSONL、CSV等格式的數(shù)據(jù)集。核心是定義清晰的“輸入-預(yù)期輸出”對(duì)并可包含多輪對(duì)話、上下文等復(fù)雜結(jié)構(gòu)。模型接入支持多種模型調(diào)用方式1.本地模型通過Transformers庫加載Hugging Face模型支持CPU/GPU推理。2.開源API調(diào)用OpenAI兼容接口如LocalAI、vLLM、Ollama部署的服務(wù)。3.商業(yè)API集成OpenRouter、Together AI等聚合平臺(tái)或直接調(diào)用OpenAI、Anthropic等原生API。評(píng)估器提供多種評(píng)估方式1.精確匹配/模糊匹配判斷輸出是否包含關(guān)鍵詞或與參考答案一致。2.基于模型的評(píng)估使用另一個(gè)LLM如GPT-4作為裁判來評(píng)分。3.代碼執(zhí)行對(duì)于代碼生成任務(wù)在沙箱中運(yùn)行生成代碼并驗(yàn)證結(jié)果。流水線與并發(fā)支持任務(wù)并行化以加速評(píng)測(cè)過程。例如使用異步IO或線程池同時(shí)評(píng)估多個(gè)樣本并管理API的速率限制。結(jié)果分析與可視化自動(dòng)生成評(píng)測(cè)報(bào)告包括準(zhǔn)確率、得分分布、耗時(shí)統(tǒng)計(jì)等并支持圖表如柱狀圖、散點(diǎn)圖展示模型對(duì)比結(jié)果。硬件門檻高度靈活。如果僅評(píng)測(cè)商業(yè)API只需網(wǎng)絡(luò)和API密鑰如果評(píng)測(cè)本地模型則依賴模型大小和顯卡顯存。小模型7B可在消費(fèi)級(jí)顯卡如RTX 4060 Ti 16G上運(yùn)行大模型可能需要多卡或降精度。輸出與持久化將每次評(píng)測(cè)的詳細(xì)輸入輸出、模型響應(yīng)、評(píng)估得分和元數(shù)據(jù)如耗時(shí)、token數(shù)保存為結(jié)構(gòu)化文件如JSONL確保實(shí)驗(yàn)可復(fù)現(xiàn)。2. 適用場(chǎng)景與使用邊界自建評(píng)測(cè)體系并非要取代MMLU、HELM、Open LLM Leaderboard等權(quán)威基準(zhǔn)而是在特定場(chǎng)景下提供不可替代的價(jià)值。它最適合以下場(chǎng)景業(yè)務(wù)場(chǎng)景驗(yàn)證你的產(chǎn)品需要模型處理特定格式的工單、生成特定風(fēng)格的文案或回答領(lǐng)域知識(shí)問題。你需要一個(gè)私有的測(cè)試集來驗(yàn)證不同模型在此場(chǎng)景下的表現(xiàn)。模型選型與迭代在采購或微調(diào)模型前需要在一個(gè)固定、可控的測(cè)試集上橫向?qū)Ρ榷鄠€(gè)候選模型開源vs.商業(yè)不同尺寸的同一系列模型的性能和成本。提示工程優(yōu)化你需要量化評(píng)估不同提示詞模板、系統(tǒng)指令對(duì)模型輸出質(zhì)量和穩(wěn)定性的影響。低成本持續(xù)監(jiān)控在模型服務(wù)上線后建立一套自動(dòng)化回歸測(cè)試監(jiān)控模型更新或服務(wù)波動(dòng)是否導(dǎo)致關(guān)鍵任務(wù)性能下降。它的局限與邊界不代表通用智能自定義評(píng)測(cè)結(jié)果僅反映模型在你所定義任務(wù)上的能力不能直接推論其通用能力強(qiáng)弱。評(píng)估器本身可能存在偏差尤其是使用“LLM-as-a-Judge”時(shí)裁判模型本身的偏好會(huì)影響結(jié)果需要謹(jǐn)慎設(shè)計(jì)評(píng)分規(guī)則。工程復(fù)雜度雖然Ed-O-Meter追求輕量但構(gòu)建一個(gè)健壯、可擴(kuò)展的評(píng)測(cè)框架仍然涉及分布式任務(wù)調(diào)度、錯(cuò)誤處理、結(jié)果緩存等工程問題。數(shù)據(jù)與評(píng)估標(biāo)準(zhǔn)定義最大的挑戰(zhàn)往往不是工具而是如何設(shè)計(jì)高質(zhì)量、無歧義的測(cè)試問題和客觀的評(píng)估標(biāo)準(zhǔn)。合規(guī)與倫理提醒數(shù)據(jù)安全如果你的測(cè)試集包含敏感或私有數(shù)據(jù)務(wù)必僅在本地或可信的私有環(huán)境中運(yùn)行評(píng)測(cè)避免數(shù)據(jù)通過API泄露給第三方。版權(quán)與授權(quán)構(gòu)建測(cè)試集時(shí)確保使用的數(shù)據(jù)不侵犯版權(quán)。對(duì)于模型生成的內(nèi)容特別是用于商業(yè)用途時(shí)需留意模型許可證對(duì)生成內(nèi)容的規(guī)定。公平性與偏見注意測(cè)試集是否無意中包含了性別、種族、文化等方面的偏見這可能導(dǎo)致評(píng)測(cè)結(jié)果不公或放大模型的有害輸出。3. 環(huán)境準(zhǔn)備與前置條件開始構(gòu)建之前你需要準(zhǔn)備好開發(fā)環(huán)境和基礎(chǔ)工具鏈。以下是一個(gè)通用的環(huán)境清單操作系統(tǒng)Linux (Ubuntu 20.04)、macOS 或 Windows (WSL2推薦)。Linux環(huán)境在依賴管理和GPU支持上通常更順暢。編程語言Python 3.9。這是LLM生態(tài)系統(tǒng)的通用語言。包管理工具pip和venv(或conda)。強(qiáng)烈建議使用虛擬環(huán)境隔離項(xiàng)目依賴。版本控制Git。用于管理你的評(píng)測(cè)代碼、測(cè)試集和結(jié)果。硬件與驅(qū)動(dòng)如需評(píng)測(cè)本地模型GPUNVIDIA GPU (如RTX 3060 12G, RTX 4090等) 將極大加速推理。顯存需求取決于模型參數(shù)量例如量化后的7B模型可能只需6-8GB顯存。CUDA Toolkit版本需與PyTorch版本匹配如CUDA 11.8或12.1。顯卡驅(qū)動(dòng)保持最新以獲得最佳兼容性。核心Python庫我們將分層次安裝?;A(chǔ)框架與異步fastapi(用于構(gòu)建簡(jiǎn)單的API服務(wù)可選)httpx(用于異步HTTP請(qǐng)求調(diào)用API時(shí)關(guān)鍵)pydantic(用于數(shù)據(jù)驗(yàn)證)。模型本地推理torch,transformers,accelerate(用于優(yōu)化模型加載和推理)??蛇xbitsandbytes(用于4/8比特量化)vllm(用于高性能推理)。評(píng)估與數(shù)據(jù)處理datasets(來自Hugging Face方便加載公開數(shù)據(jù)集作為起點(diǎn))pandas,numpy。結(jié)果可視化matplotlib,seaborn。配置管理python-dotenv(用于管理API密鑰等環(huán)境變量)。你可以創(chuàng)建一個(gè)requirements.txt文件來管理依賴# 核心依賴 httpx0.25.0 pydantic2.0 python-dotenv1.0.0 pandas2.0 numpy1.24 # 本地模型推理 (根據(jù)需求選擇) # torch 版本需與CUDA匹配請(qǐng)?jiān)L問 https://pytorch.org/get-started/locally/ 獲取正確命令 # transformers4.36.0 # accelerate0.25.0 # 可視化 matplotlib3.7.0 seaborn0.12.0 # 可選API服務(wù)器框架 # fastapi0.104.0 # uvicorn[standard]0.24.0使用以下命令創(chuàng)建虛擬環(huán)境并安裝依賴# 創(chuàng)建并激活虛擬環(huán)境 python -m venv venv # Linux/macOS source venv/bin/activate # Windows # venv\Scripts\activate # 安裝依賴 pip install -r requirements.txt4. 設(shè)計(jì)你的評(píng)測(cè)流水線從數(shù)據(jù)到報(bào)告Ed-O-Meter的核心是一個(gè)可執(zhí)行的流水線。我們將其拆解為幾個(gè)可復(fù)用的模塊來設(shè)計(jì)和實(shí)現(xiàn)。4.1 定義任務(wù)與數(shù)據(jù)集格式首先你需要定義評(píng)測(cè)任務(wù)。一個(gè)最簡(jiǎn)單的任務(wù)可以是一個(gè)問答對(duì)。我們使用Pydantic模型來定義數(shù)據(jù)結(jié)構(gòu)和評(píng)估配置確保類型安全。創(chuàng)建一個(gè)schemas.py文件from pydantic import BaseModel, Field from typing import List, Dict, Any, Optional from enum import Enum class DifficultyLevel(str, Enum): EASY easy MEDIUM medium HARD hard class EvaluationSample(BaseModel): 一個(gè)評(píng)測(cè)樣本 id: str Field(..., description樣本唯一ID) input: str Field(..., description模型的輸入如問題、指令) reference: Optional[str] Field(None, description參考答案可選用于精確匹配評(píng)估) context: Optional[str] Field(None, description額外的上下文信息) metadata: Dict[str, Any] Field(default_factorydict, description元數(shù)據(jù)如難度、類別) class EvaluationTask(BaseModel): 一個(gè)評(píng)測(cè)任務(wù)定義 name: str Field(..., description任務(wù)名稱如代碼調(diào)試) description: str Field(..., description任務(wù)描述) samples: List[EvaluationSample] Field(..., description評(píng)測(cè)樣本列表) evaluator_config: Dict[str, Any] Field(default_factorydict, description評(píng)估器配置)然后你可以將測(cè)試集保存為JSONL格式每行一個(gè)JSON對(duì)象便于流式讀取和處理。# data/my_coding_test.jsonl {id: code_001, input: 寫一個(gè)Python函數(shù)計(jì)算斐波那契數(shù)列的第n項(xiàng)。, reference: def fib(n):\n if n 1:\n return n\n a, b 0, 1\n for _ in range(n-1):\n a, b b, ab\n return b, metadata: {category: algorithm, difficulty: easy}} {id: code_002, input: 以下SQL查詢有什么問題 SELECT * FROM users WHERE name NULL;, reference: NULL值判斷應(yīng)使用 IS NULL 而非 NULL。正確寫法SELECT * FROM users WHERE name IS NULL;, metadata: {category: sql, difficulty: medium}}4.2 實(shí)現(xiàn)模型調(diào)用適配器為了統(tǒng)一調(diào)用不同后端的模型我們需要一個(gè)適配器模式。創(chuàng)建一個(gè)model_adapters.py文件import os from abc import ABC, abstractmethod from typing import AsyncGenerator, Optional import httpx from openai import OpenAI, AsyncOpenAI # 需要安裝 openai 庫 # 如需本地模型取消以下導(dǎo)入注釋 # from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline # import torch class ModelAdapter(ABC): 模型適配器抽象基類 def __init__(self, model_name: str, **kwargs): self.model_name model_name self.config kwargs abstractmethod async def generate(self, prompt: str, **generation_kwargs) - str: 生成文本 pass class OpenAIModelAdapter(ModelAdapter): OpenAI 兼容API適配器 (包括OpenAI, Azure, OpenRouter等) def __init__(self, model_name: str, api_key: str, base_url: Optional[str] None): super().__init__(model_name) self.client AsyncOpenAI(api_keyapi_key, base_urlbase_url) async def generate(self, prompt: str, **kwargs) - str: try: response await self.client.chat.completions.create( modelself.model_name, messages[{role: user, content: prompt}], **kwargs ) return response.choices[0].message.content.strip() except Exception as e: return f[API Error: {str(e)}] class LocalHuggingFaceModelAdapter(ModelAdapter): 本地Hugging Face模型適配器 def __init__(self, model_name: str, device: str cuda:0, **kwargs): super().__init__(model_name) self.device device # 注意在實(shí)際項(xiàng)目中模型加載應(yīng)放在單獨(dú)的方法中避免阻塞事件循環(huán) # 這里為示例簡(jiǎn)化處理 print(fLoading model {model_name}...) # self.tokenizer AutoTokenizer.from_pretrained(model_name) # self.model AutoModelForCausalLM.from_pretrained( # model_name, # torch_dtypetorch.float16, # device_mapauto if device.startswith(cuda) else None, # **kwargs # ) # self.pipeline pipeline( # text-generation, # modelself.model, # tokenizerself.tokenizer, # device0 if device.startswith(cuda) else -1, # ) print(Model loaded (simulated).) async def generate(self, prompt: str, **kwargs) - str: # 實(shí)際調(diào)用 pipeline # results self.pipeline(prompt, **kwargs) # return results[0][generated_text] # 模擬返回 return f[Local Model Simulated Output for: {prompt[:50]}...] # 適配器工廠函數(shù) def get_model_adapter(adapter_type: str, model_name: str, **config) - ModelAdapter: if adapter_type openai: api_key config.get(api_key, os.getenv(OPENAI_API_KEY)) base_url config.get(base_url, None) return OpenAIModelAdapter(model_name, api_key, base_url) elif adapter_type local_hf: device config.get(device, cuda:0) return LocalHuggingFaceModelAdapter(model_name, device, **config) else: raise ValueError(fUnsupported adapter type: {adapter_type})4.3 實(shí)現(xiàn)評(píng)估器評(píng)估器負(fù)責(zé)對(duì)比模型輸出和預(yù)期結(jié)果。創(chuàng)建一個(gè)evaluators.py文件import re from typing import Tuple, Optional class ExactMatchEvaluator: 精確匹配評(píng)估器 def evaluate(self, prediction: str, reference: str) - Tuple[bool, float]: 返回 (是否匹配, 得分) is_correct prediction.strip() reference.strip() score 1.0 if is_correct else 0.0 return is_correct, score class ContainsKeywordEvaluator: 關(guān)鍵詞匹配評(píng)估器 def __init__(self, keywords: list): self.keywords [k.lower() for k in keywords] def evaluate(self, prediction: str, reference: Optional[str] None) - Tuple[bool, float]: pred_lower prediction.lower() found_keywords [kw for kw in self.keywords if kw in pred_lower] score len(found_keywords) / len(self.keywords) if self.keywords else 0.0 is_acceptable score 0.5 # 自定義閾值 return is_acceptable, score class LLMAsJudgeEvaluator: 使用LLM作為裁判進(jìn)行評(píng)估需接入另一個(gè)模型API def __init__(self, judge_model_adapter): self.judge judge_model_adapter async def evaluate(self, question: str, prediction: str, reference: Optional[str] None) - Tuple[bool, float]: prompt f 你是一個(gè)公正的裁判。請(qǐng)?jiān)u估以下回答對(duì)問題的解決程度。 問題{question} 回答{prediction} {參考答案 reference if reference else } 請(qǐng)從準(zhǔn)確性、完整性和清晰度三個(gè)方面考慮給出一個(gè)0到10的分?jǐn)?shù)只需輸出數(shù)字。 分?jǐn)?shù) try: score_text await self.judge.generate(prompt, max_tokens10, temperature0) score float(score_text.strip()) normalized_score score / 10.0 is_acceptable normalized_score 0.7 return is_acceptable, normalized_score except: return False, 0.0 def get_evaluator(evaluator_type: str, **config): if evaluator_type exact_match: return ExactMatchEvaluator() elif evaluator_type contains_keyword: return ContainsKeywordEvaluator(config.get(keywords, [])) elif evaluator_type llm_judge: # 需要傳入一個(gè)配置好的裁判模型適配器 judge_adapter config.get(judge_model_adapter) if not judge_adapter: raise ValueError(LLM judge requires a judge_model_adapter) return LLMAsJudgeEvaluator(judge_adapter) else: raise ValueError(fUnknown evaluator type: {evaluator_type})4.4 組裝評(píng)測(cè)引擎與并發(fā)執(zhí)行現(xiàn)在我們將所有組件組裝起來并利用異步IO實(shí)現(xiàn)并發(fā)評(píng)測(cè)以提高效率。創(chuàng)建evaluation_engine.pyimport asyncio import json import aiofiles from typing import List, Dict, Any from tqdm.asyncio import tqdm_asyncio # 需要安裝 tqdm from schemas import EvaluationTask, EvaluationSample from model_adapters import get_model_adapter from evaluators import get_evaluator class EvaluationEngine: def __init__(self, task: EvaluationTask, model_adapter_config: Dict[str, Any], evaluator_config: Dict[str, Any]): self.task task self.model_adapter get_model_adapter(**model_adapter_config) self.evaluator get_evaluator(**evaluator_config) async def evaluate_sample(self, sample: EvaluationSample) - Dict[str, Any]: 評(píng)估單個(gè)樣本 try: # 1. 調(diào)用模型生成 prediction await self.model_adapter.generate(sample.input) # 2. 評(píng)估結(jié)果 if hasattr(self.evaluator, evaluate) and asyncio.iscoroutinefunction(self.evaluator.evaluate): # 異步評(píng)估器如LLM-as-Judge is_correct, score await self.evaluator.evaluate(sample.input, prediction, sample.reference) else: # 同步評(píng)估器 is_correct, score self.evaluator.evaluate(prediction, sample.reference) return { id: sample.id, input: sample.input, prediction: prediction, reference: sample.reference, is_correct: is_correct, score: score, metadata: sample.metadata, error: None } except Exception as e: return { id: sample.id, input: sample.input, prediction: None, reference: sample.reference, is_correct: False, score: 0.0, metadata: sample.metadata, error: str(e) } async def run(self, max_concurrent: int 5) - List[Dict[str, Any]]: 并發(fā)運(yùn)行整個(gè)評(píng)測(cè)任務(wù) semaphore asyncio.Semaphore(max_concurrent) # 控制最大并發(fā)數(shù)避免API限流 async def evaluate_with_semaphore(sample): async with semaphore: return await self.evaluate_sample(sample) tasks [evaluate_with_semaphore(sample) for sample in self.task.samples] results [] # 使用tqdm顯示進(jìn)度 for f in tqdm_asyncio.as_completed(tasks, totallen(tasks), descfEvaluating {self.task.name}): result await f results.append(result) return results staticmethod async def save_results(results: List[Dict[str, Any]], output_path: str): 保存結(jié)果到JSONL文件 async with aiofiles.open(output_path, w, encodingutf-8) as f: for result in results: await f.write(json.dumps(result, ensure_asciiFalse) \n) print(fResults saved to {output_path})5. 功能測(cè)試與效果驗(yàn)證運(yùn)行你的第一個(gè)評(píng)測(cè)現(xiàn)在讓我們用一套簡(jiǎn)單的測(cè)試集來驗(yàn)證整個(gè)流水線。假設(shè)我們想測(cè)試模型回答簡(jiǎn)單Python編程問題的能力。5.1 準(zhǔn)備測(cè)試集創(chuàng)建文件run_evaluation.py作為主入口import asyncio import json from schemas import EvaluationTask, EvaluationSample from evaluation_engine import EvaluationEngine def load_task_from_jsonl(file_path: str, task_name: str, task_description: str) - EvaluationTask: samples [] with open(file_path, r, encodingutf-8) as f: for line in f: data json.loads(line) samples.append(EvaluationSample(**data)) return EvaluationTask(nametask_name, descriptiontask_description, samplessamples) async def main(): # 1. 加載評(píng)測(cè)任務(wù) task load_task_from_jsonl( data/my_coding_test.jsonl, task_namePython編程基礎(chǔ)測(cè)試, task_description測(cè)試模型對(duì)基礎(chǔ)Python編程問題的解答能力。 ) print(fLoaded task: {task.name} with {len(task.samples)} samples.) # 2. 配置模型適配器 (示例使用OpenRouter的Claude 3 Haiku) model_adapter_config { adapter_type: openai, model_name: claude-3-haiku-20240307, # 在OpenRouter上的模型名 api_key: your_openrouter_api_key_here, # 務(wù)必從環(huán)境變量讀取 base_url: https://openrouter.ai/api/v1 # OpenRouter端點(diǎn) } # 本地模型配置示例 # model_adapter_config { # adapter_type: local_hf, # model_name: Qwen/Qwen2.5-7B-Instruct, # device: cuda:0 # } # 3. 配置評(píng)估器 (使用精確匹配) evaluator_config { evaluator_type: exact_match } # 關(guān)鍵詞匹配示例 # evaluator_config { # evaluator_type: contains_keyword, # keywords: [def, return, fibonacci] # } # 4. 初始化引擎并運(yùn)行 engine EvaluationEngine(task, model_adapter_config, evaluator_config) results await engine.run(max_concurrent3) # 控制并發(fā)避免觸發(fā)速率限制 # 5. 保存結(jié)果 await EvaluationEngine.save_results(results, results/coding_test_results.jsonl) # 6. 簡(jiǎn)單分析 correct_count sum(1 for r in results if r.get(is_correct)) total_count len(results) accuracy correct_count / total_count if total_count 0 else 0 print(f\n Evaluation Summary ) print(fTask: {task.name}) print(fTotal Samples: {total_count}) print(fCorrect: {correct_count}) print(fAccuracy: {accuracy:.2%}) # 可以打印一些錯(cuò)誤案例 print(\n--- Error Cases (first 3) ---) for r in results: if not r.get(is_correct) and r[error] is None: print(fID: {r[id]}) print(fInput: {r[input][:100]}...) print(fPrediction: {r[prediction][:100]}...) print(fReference: {r[reference]}) print(- * 40) if __name__ __main__: asyncio.run(main())5.2 運(yùn)行與結(jié)果分析在運(yùn)行前請(qǐng)確保將your_openrouter_api_key_here替換為你的真實(shí)API密鑰建議通過環(huán)境變量OPENROUTER_API_KEY設(shè)置。創(chuàng)建data/和results/目錄。將之前定義的my_coding_test.jsonl文件放入data/目錄。在終端執(zhí)行python run_evaluation.py如果一切正常你將看到進(jìn)度條并在結(jié)束后看到總結(jié)輸出。結(jié)果文件results/coding_test_results.jsonl會(huì)保存每個(gè)樣本的詳細(xì)輸入、輸出和得分。預(yù)期輸出與成功標(biāo)準(zhǔn)成功腳本無報(bào)錯(cuò)運(yùn)行完畢輸出總結(jié)信息并在results/目錄下生成.jsonl文件。文件內(nèi)容應(yīng)包含id,input,prediction,is_correct,score等字段。失敗排查API連接錯(cuò)誤檢查網(wǎng)絡(luò)、API密鑰是否正確、API服務(wù)端點(diǎn)base_url是否可達(dá)。模塊導(dǎo)入錯(cuò)誤檢查requirements.txt是否安裝完全虛擬環(huán)境是否激活。文件未找到錯(cuò)誤檢查數(shù)據(jù)文件路徑是否正確。并發(fā)錯(cuò)誤或速率限制如果調(diào)用商業(yè)API降低max_concurrent參數(shù)值或添加請(qǐng)求間隔。6. 接口API與批量任務(wù)擴(kuò)展基礎(chǔ)的流水線完成后我們可以將其封裝成服務(wù)以便其他系統(tǒng)調(diào)用或處理更復(fù)雜的批量任務(wù)。6.1 構(gòu)建簡(jiǎn)易評(píng)測(cè)API服務(wù)使用FastAPI我們可以快速創(chuàng)建一個(gè)接收評(píng)測(cè)任務(wù)并返回結(jié)果的HTTP服務(wù)。創(chuàng)建api_server.pyfrom fastapi import FastAPI, HTTPException, BackgroundTasks from pydantic import BaseModel from typing import List, Optional import uuid import asyncio from evaluation_engine import EvaluationEngine from schemas import EvaluationTask, EvaluationSample # 假設(shè)已有 get_model_adapter, get_evaluator 等函數(shù) app FastAPI(titleEd-O-Meter API, descriptionA simple LLM benchmark API service) # 內(nèi)存中存儲(chǔ)任務(wù)狀態(tài)生產(chǎn)環(huán)境應(yīng)使用數(shù)據(jù)庫 tasks_status {} class EvaluationRequest(BaseModel): samples: List[dict] # 每個(gè)dict對(duì)應(yīng)一個(gè)EvaluationSample的字段 model_adapter_config: dict evaluator_config: dict task_name: str API Evaluation task_description: str app.post(/evaluate/, status_code202) async def create_evaluation_job(request: EvaluationRequest, background_tasks: BackgroundTasks): 提交一個(gè)評(píng)測(cè)任務(wù)異步執(zhí)行 job_id str(uuid.uuid4()) tasks_status[job_id] {status: pending, result: None, error: None} # 將任務(wù)放入后臺(tái)執(zhí)行 background_tasks.add_task(run_evaluation_job, job_id, request) return {job_id: job_id, status: accepted, message: fEvaluation job {job_id} is queued.} app.get(/evaluate/{job_id}) async def get_evaluation_result(job_id: str): 獲取評(píng)測(cè)任務(wù)結(jié)果 if job_id not in tasks_status: raise HTTPException(status_code404, detailJob not found) status_info tasks_status[job_id] if status_info[status] pending: return {job_id: job_id, status: pending} elif status_info[status] failed: return {job_id: job_id, status: failed, error: status_info[error]} else: # completed # 注意實(shí)際生產(chǎn)環(huán)境結(jié)果應(yīng)存于數(shù)據(jù)庫或文件這里簡(jiǎn)化返回 return { job_id: job_id, status: completed, result_summary: { total: len(status_info[result]), correct: sum(1 for r in status_info[result] if r.get(is_correct)), accuracy: sum(1 for r in status_info[result] if r.get(is_correct)) / len(status_info[result]) if status_info[result] else 0 } # 可考慮分頁返回詳細(xì)結(jié)果或提供下載鏈接 } async def run_evaluation_job(job_id: str, request: EvaluationRequest): 后臺(tái)執(zhí)行評(píng)測(cè)任務(wù) try: samples [EvaluationSample(**s) for s in request.samples] task EvaluationTask( namerequest.task_name, descriptionrequest.task_description, samplessamples ) engine EvaluationEngine(task, request.model_adapter_config, request.evaluator_config) results await engine.run(max_concurrent3) tasks_status[job_id] {status: completed, result: results, error: None} # 可選將結(jié)果持久化到文件或數(shù)據(jù)庫 await EvaluationEngine.save_results(results, fresults/api_job_{job_id}.jsonl) except Exception as e: tasks_status[job_id] {status: failed, result: None, error: str(e)} if __name__ __main__: import uvicorn uvicorn.run(app, host0.0.0.0, port8000)啟動(dòng)服務(wù)uvicorn api_server:app --reload --host 0.0.0.0 --port 8000然后可以使用curl或 Python 客戶端提交任務(wù)curl -X POST http://127.0.0.1:8000/evaluate/ \ -H Content-Type: application/json \ -d { task_name: Quick Test, samples: [ {id: 1, input: Capital of France?, reference: Paris}, {id: 2, input: 11?, reference: 2} ], model_adapter_config: { adapter_type: openai, model_name: gpt-3.5-turbo, api_key: $OPENAI_API_KEY, base_url: https://api.openai.com/v1 }, evaluator_config: { evaluator_type: exact_match } }6.2 設(shè)計(jì)批量任務(wù)隊(duì)列對(duì)于海量評(píng)測(cè)任務(wù)需要更健壯的隊(duì)列系統(tǒng)。一個(gè)簡(jiǎn)單的實(shí)現(xiàn)是使用asyncio.Queue結(jié)合數(shù)據(jù)庫記錄狀態(tài)。更復(fù)雜的生產(chǎn)環(huán)境可以考慮CeleryRedis或RQ。核心思路是將待評(píng)測(cè)樣本放入隊(duì)列。多個(gè)工作協(xié)程從隊(duì)列中消費(fèi)樣本調(diào)用模型并評(píng)估。將結(jié)果寫入數(shù)據(jù)庫并更新任務(wù)狀態(tài)。提供API查詢進(jìn)度和下載結(jié)果。這超出了本文范圍但它是構(gòu)建可擴(kuò)展評(píng)測(cè)平臺(tái)的關(guān)鍵一步。7. 資源占用與性能觀察評(píng)測(cè)系統(tǒng)的性能取決于你選擇的模型和運(yùn)行方式。1. 評(píng)測(cè)商業(yè)API如OpenAI, OpenRouter資源占用主要消耗網(wǎng)絡(luò)I/O和內(nèi)存用于存儲(chǔ)請(qǐng)求和結(jié)果。CPU/GPU壓力很小。性能瓶頸API的速率限制RPM/TPM和網(wǎng)絡(luò)延遲是主要瓶頸。需要通過max_concurrent參數(shù)控制并發(fā)數(shù)并考慮實(shí)現(xiàn)指數(shù)退避的重試機(jī)制。成本成本與評(píng)測(cè)樣本數(shù)量、輸入輸出token總數(shù)直接相關(guān)。在運(yùn)行大規(guī)模評(píng)測(cè)前建議用小批量樣本估算成本。2. 評(píng)測(cè)本地模型顯存占用這是最主要的資源瓶頸。顯存占用大致等于模型參數(shù)量以字節(jié)計(jì)乘以精度如FP16是2字節(jié)INT8是1字節(jié)再加上激活值和中間結(jié)果的開銷。例如一個(gè)7B參數(shù)的FP16模型僅參數(shù)就需要約14GB顯存。通過量化如GPTQ, AWQ, GGUF可以大幅降低顯存需求使大模型在消費(fèi)級(jí)顯卡上運(yùn)行成為可能。觀察方法在Linux上可以使用nvidia-smi命令實(shí)時(shí)查看顯存占用。在代碼中可以使用torch.cuda.memory_allocated()進(jìn)行監(jiān)控。性能優(yōu)化量化使用bitsandbytes進(jìn)行4/8比特量化或加載預(yù)量化的GGUF模型。批處理如果評(píng)估器支持可以一次給模型輸入多個(gè)樣本進(jìn)行批處理推理能顯著提升吞吐量。使用高性能推理引擎如vLLM支持PagedAttention和連續(xù)批處理或TGIText Generation Inference它們能極大優(yōu)化推理速度和吞吐量。CPU推理對(duì)于小模型或?qū)ρ舆t不敏感的任務(wù)可以使用CPU推理但速度會(huì)慢很多。8. 常見問題與排查方法在構(gòu)建和運(yùn)行自定義評(píng)測(cè)時(shí)你可能會(huì)遇到以下問題問題現(xiàn)象可能原因排查方式解決方案API調(diào)用返回429錯(cuò)誤觸發(fā)了速率限制。查看API返回的錯(cuò)誤信息檢查并發(fā)請(qǐng)求數(shù)。降低max_concurrent參數(shù)在請(qǐng)求間添加隨機(jī)延遲實(shí)現(xiàn)帶退避的重試邏輯。本地模型加載失敗或OOM顯存不足模型文件損壞CUDA版本不匹配。檢查nvidia-smi顯存占用確認(rèn)模型文件完整檢查PyTorch CUDA版本torch.cuda.is_available()。嘗試量化模型使用更小的模型清理顯存中其他進(jìn)程確保CUDA、PyTorch、顯卡驅(qū)動(dòng)版本兼容。評(píng)估結(jié)果全部為0或不準(zhǔn)評(píng)估器配置錯(cuò)誤參考答案格式與預(yù)測(cè)格式不匹配。打印幾個(gè)樣本的prediction和reference進(jìn)行人工比對(duì)檢查評(píng)估器邏輯。調(diào)整評(píng)估器邏輯如改為模糊匹配、去除空格使用LLM-as-Judge進(jìn)行更靈活的評(píng)估。異步任務(wù)卡住或無響應(yīng)事件循環(huán)阻塞某個(gè)請(qǐng)求超時(shí)未設(shè)置超時(shí)時(shí)間。使用asyncio.wait_for為每個(gè)請(qǐng)求設(shè)置超時(shí)檢查是否有同步代碼在異步函數(shù)中運(yùn)行。為所有網(wǎng)絡(luò)請(qǐng)求添加超時(shí)參數(shù)將CPU密集型操作放到線程池中執(zhí)行。結(jié)果文件未生成或?yàn)榭瘴募窂綑?quán)限問題程序在寫入前異常退出。檢查目標(biāo)目錄是否存在且可寫在save_results函數(shù)中添加更詳細(xì)的日志。確保程序有寫入權(quán)限使用try...except捕獲寫入異常考慮先寫入臨時(shí)文件再重命名。“LLM-as-Judge”評(píng)分不穩(wěn)定裁判模型本身有波動(dòng)性提示詞設(shè)計(jì)不佳。用相同問題多次請(qǐng)求裁判模型觀察分?jǐn)?shù)波動(dòng)審查裁判提示詞是否清晰、無歧義。在提示詞中要求裁判模型輸出評(píng)分理由對(duì)同一回答進(jìn)行多次評(píng)分取平均使用更強(qiáng)大的裁判模型如GPT-4。9. 最佳實(shí)踐與使用建議基于“Ed-O-Meter”的設(shè)計(jì)理念以下建議能幫助你更高效、可靠地使用自建評(píng)測(cè)體系始于小規(guī)模驗(yàn)證在投入大量資源進(jìn)行全量評(píng)測(cè)前先用10-100個(gè)樣本的小測(cè)試集驗(yàn)證整個(gè)流水線包括數(shù)據(jù)加載、模型調(diào)用、評(píng)估邏輯和結(jié)果保存。這能快速發(fā)現(xiàn)配置錯(cuò)誤和邏輯缺陷。版本化一切使用Git對(duì)代碼、測(cè)試集定義、評(píng)估配置進(jìn)行版本控制。每次評(píng)測(cè)時(shí)記錄下模型版本/ID、代碼提交哈希、測(cè)試集版本和評(píng)估配置。這是結(jié)果可復(fù)現(xiàn)性的基石。分離配置與代碼將模型API密鑰、端點(diǎn)URL、超時(shí)時(shí)間、并發(fā)數(shù)等配置項(xiàng)放在環(huán)境變量或配置文件中如.env或config.yaml不要硬編碼在代碼里。實(shí)施全面的日志記錄記錄每個(gè)樣本的評(píng)測(cè)請(qǐng)求時(shí)間、響應(yīng)時(shí)間、token使用量、是否成功、錯(cuò)誤信息等。這些日志對(duì)于分析性能瓶頸、排查問題和成本核算至關(guān)重要。設(shè)計(jì)健壯的評(píng)估標(biāo)準(zhǔn)精確匹配適用于有標(biāo)準(zhǔn)答案的封閉任務(wù)。對(duì)于開放性問題結(jié)合使用關(guān)鍵詞匹配、規(guī)則匹配和LLM-as-Judge。考慮設(shè)計(jì)多維度評(píng)分如事實(shí)準(zhǔn)確性、邏輯性、完整性、無害性。管理好測(cè)試數(shù)據(jù)確保你的測(cè)試集具有代表性、無偏見且覆蓋了關(guān)鍵用例。定期更新測(cè)試集以反映產(chǎn)品需求的變化。對(duì)于敏感數(shù)據(jù)務(wù)必在安全環(huán)境中處理。為批量任務(wù)設(shè)計(jì)隊(duì)列和監(jiān)控對(duì)于長時(shí)間運(yùn)行的評(píng)測(cè)任務(wù)實(shí)現(xiàn)一個(gè)任務(wù)隊(duì)列系統(tǒng)并提供Web界面或API來監(jiān)控任務(wù)狀態(tài)、進(jìn)度和部分結(jié)果。結(jié)果分析與可視化自動(dòng)化除了基礎(chǔ)準(zhǔn)確率計(jì)算不同類別如難度、主題下的指標(biāo)生成對(duì)比圖表如不同模型的得分分布雷達(dá)圖并自動(dòng)生成HTML或PDF報(bào)告。構(gòu)建自己的LLM基準(zhǔn)測(cè)試工具核心價(jià)值在于將評(píng)測(cè)的主動(dòng)權(quán)和控制權(quán)掌握在自己手中。它不是一個(gè)一勞永逸的項(xiàng)目而是一個(gè)隨著你對(duì)模型能力認(rèn)知加深而不斷迭代的“活”系統(tǒng)。從今天介紹的最小可行產(chǎn)品MVP開始你可以逐步添加更復(fù)雜的評(píng)估器、支持更多模型后端、實(shí)現(xiàn)更優(yōu)雅的Web界面最終形成一套完全貼合你團(tuán)隊(duì)需求的內(nèi)模型質(zhì)量保障體系。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
伊人97色天使| 人人爱人人乐人人操| 日本孕妇一区二区视频操逼免费看| 91精品伊人久久久大香线蕉91| 亚欧中文字幕在线视频| 国产精品不卡一区二区三区av| 伊人欧美大香蕉视频| 国产女人9999| 先锋色眉乱伦资源| 日韩欧美中文日韩欧美色| 久操99| 新怡红院| 亚洲精品国产精品乱码不99| 蜜臀av一区二区三区免费观看| 综合九九| 999岛国大片| 久久超碰98| 74成人在线| 成 人 影视 一区 二区 三区 四区 | 精品久久9| 国产高清在线观看欧美| 青青草一区二区三区四| 999岛国大片| 久久久极品| 在线v中文字幕一区二区三区| 啊啊啊好舒服视频在线观看| 日韩欧美亚洲一区二区三区影院 | 亚洲欧洲国产综合av| 国产一区二区三区,在线观看观看| 一区AV| 男人干美女| A级毛片在线看免费| 欧美白嫩女HD| 日韩去日本高清在| 夜夜欢天天干| 欧美亚洲涩涩| 日韩黄色一区二区三区| 日本大香蕉综合网红本杳社区| 人妻-91porn| www.人人摸在线视频| 五月天成人综合| 亚洲久9| 色蜜AV| 91精品国产91久久青草| 九九九九免费视频| 欧美性天天影视| 亚洲国产一级中文综合久久天堂在线免费观看 | 日韩精品午夜操呦呦不卡影院| 99视频只有精品| 超碰成人人人爽人人爽| 亚洲限制级| 久久激情亚洲精品无码?V| 欧美在线综合| 色色色色色色色色色色色色色色综合 | 视频国产成人精品日本亚洲18| 91中文精品日韩欧美在线| 日va操| 性生活性生大爱77AV国产| 中文字幕在线24| 欧美日韩午夜精品一区二区三区| 一本色道久久综合亚洲二区三区| 伊人97色天使| 国产a级午夜毛片| 密臀视频三区免费网站| 秋霞曰韩R级| 高清孕妇孕交 交| 天天天肏屄欧美| 亚洲AV永久无码一区仙野| 亚洲天堂2020| 人妻激情在线视频| 精品少妇一区二区三区免费观看| 国产精品一区av在线| 久久精品一区一起草| 九九热免费国产视频婷婷伊人五月| 中文字幕一区二区三区四区在线视频| 欧美人妻熟女在线| 天堂网 主播 亚洲| 欧美性战999| 性做久久久久久免费观看软件| 天天看精品动漫视频一区| 91超碰人人操| 男女激烈网站最新| 试看日韩黄片| 色爱亚洲| 欧美综合色| 亚洲大色堂| 小泽玛利亚一二三| 日本韩欧美在线播放a| 国内毛片欧美香蕉精品| 国产农村妇女毛片精品久久| 日本新免费二区三区| 久久久久无码| 久久色人体| 干婷婷综合网| 九色精品视频导航1| 欧美精品69性爱| 亚洲区限制级| 人妻天天爽夜夜爽2| 人人摸人人添人人操| 色牛牛AV| 人成午夜免费大片| 青青操少妇| 情侣开房子拍 日韩无码 女的很漂亮| 香蕉人人操tv| 精品国产乱码久久| 超碰在线91| 天美传媒婬乱在| 熟女熟妇一区二区三区视频| 干美女人妻| 操一区| 国产精品久久久视频| 欧洲色| 成人性爱电影网| 一区二区三区四区免费视频| 欧美一品道| 午夜欧美J进J出白浆流出久久久| 免费看污网站| 蜜臀99999| 北京美女一区二区| 曰韩少妇无码| 一二区在线观看视频| 狠狠爱AV| 夜夜嗨一区二区三区直播内容| 人人九九精| 台湾佬中文娱乐网久久久久久久久久com | 操逼操逼逼操操逼91| 亚洲精品国产无码高清| 国产精品亚洲无码| 97超碰中文字幕| 美女干逼2| 久久99999| 99热aaa| 久久久久久性爱视频| 天天综合91在线| 天天插天天射| 中文字幕在线观看AV| 91丨国产丨白浆| 天天淫人人妻日日色| 内射日韩大臀美女| 国产精品午夜成人福利| 一区二区国产视频在线观看| 天天澡天天爽日日av| 激情终合网| 啊嗯好大视频在线观看| 欧美亚洲高清不卡| 羞答答AV中文字| 玖玖资源视频一区二区三区| 精品国产乱码久久久| 婷婷色一区| 国语人妻精彩刺激| 日本天天人人狠狠在线日美女 | 亚洲午夜福利在线影院| 亚洲日本韩国在线| 色婷婷蜜臀av| 蜜臀亚洲综合一二三四区| 人妻熟女av国产网站| 女人18精品一区二区三区| 乱人伦 国语对白:视频直接看| 男人的天堂2010| 五月久久HDAV| 天天α片| 91天天美女| 少妇与黑人高潮在线| 麻豆黄四叶草网站| 日韩大香蕉精品在线视频| 国产精品久久久久久9999| 国产日韩中文字幕欧美| 97欧美视频| 精品欧美不卡在线播放| 超97在线精品视频| 97在线免费看| 中文字幕久久亚州无码| 精品日日人妻| 亚洲av综合伊人久久| 377p欧洲日本亚洲大胆| 天天日天天插| 亚州久久9| 色五月激情AV在线| 色综合一区二区三区| 岛国福利在线精品播放| 99在线精品观看99| 97人亚洲综合字幕| 国产在线激情| 在线观看成人性爱免费小视频| 玖玖婷婷五月天| 天天看片天天爽| 涩涩涩综合| 国产激情综合| 亚洲文学偷乱拍啪啪啪啪| 91丝袜在线播放| 日韩高清黄片| 思思99热| 天堂精品| 免费αⅴ在线观看| 91视频成人福利网站在线一区| 97欧美色资源| 黄页网站成人免费| 91熟女丨91老女人| 热热色91| 欧洲中文字幕| 拍拍拍拍大尺度黄色三级片拍拍拍拍拍照| 大香蕉欧美伊| 久噜噜| q2午夜理论片夜色av| 防屏蔽在线视频| 九月丁香婷婷| 另类专区加勒比| 女人被男人桶爽视频网站| 亚洲好色人妻| 久操电影网| 啊啊啊啊啊啊在线观看| 蜜桃臀av在线观看| 免费视频a级毛片免费视频| 人人妻人人操人人乐| 日韩欧美中文字| 电家庭影院午夜69久久夜色精品国产69乱 | 欧美日韩精品久久| 久 久无码人妻AV| 五月天丁香婷婷综合网站| 夜夜一区二区| 亚洲欧美清纯| 欧美人人AAA| 做爱福利视频一区二区| 激情熟女12P| 人人操av| 欧美性91| 欧美制服另类丝袜| 影音先锋每日最新资源在线观看| 九九色逼| 91国模| www.久久久久| 天天干1区2区在线| 欧美十八禁在线看| 中文字幕在线观看视频www| 久久久国产精品亚洲精品| 久久国产AⅤ| 久久伊人在线五区| 九九九久久久| 成人资源中文字幕在线观看天天| 亚州男人天堂| 老女人爆菊| 丰满人妻一区二区三区免费 | 最新日日夜夜天天干干| 久啪| 高清无码 国产精品| 国产乱弄免费在线视频。| 免费AV中文网在线观看| 亚洲熟妇熟在线电影视频| 欧美人妻制服| 欧美久久毛片基地| 国产一级特黄大片处女| 亚州中文字幕超碰97| 欧美激情另类一区二区| 国产91专区| 黄片www.| 色97| 人妻丝袜美腿中文字幕| 欧美一区二区情色| 欧美一区二区三区四区综合| 粉嫩AV输入| 中国女人内射6XXXXX| 免费超碰97久久| 亚洲人妻中文高清| 欧美78P| 久久五月婷| 精品九区| 久久久99久9| 久久久久亚洲三级电影| 在线免费试看60秒| 九九久久综合| 中文字幕丰满人妻日本| 黄色不卡视频| 国产a级午夜毛片| 91精品久久久久| 爆乳免费黄网站| .精品人妻一区二区三| 性生活无遮挡纯毛片在线看| 一级久久性爱视频| 熟女啪啪视频| 一级片在线观看高清无码| 男人成人黄色视频在线观看免费下载| 九九Av| 国产一级高清免费观看| 久久久久久波多野吉衣高潮| 欧美黄色片AAAAA| 97超碰超碰| 97视频620| 亚洲欧美精品福利在线| 欧美精品久久96人妻无码| 啊啊啊不要啊啊受不了了视频在线 | 97精品国产精品免费观看| 女人双腿搬开让男人桶| 女人综合网| 久久99草| 97天天爽| 中文自拍欧美影视| J?P?NESEHD熟女熟妇伦| 日韩色图 一区二区| 极品五月天噜噜| 久久女女| 熟女一区二区三区| 欧日韩不卡视.频| 亚洲精品免费中文字幕| 最新制服中文第一页| 99热导航| 欧美夜夜狠| 老司机老司机午夜影院| 亚洲日韩人妻中文字幕一区| 精品97久久| 欧美性天天影院| 亚洲,欧美,春色,另类| 在线观看AV片| 老司机福利青青草| 国产精品伦理| 夜夜嗨老熟女AV一区二区三区| 少妇蜜汁| 精品久久久无码| 精品亚洲国产成人AV制服丝袜| 午夜福利1区2区3区| 欧美日韩色| 91精品人妻啪啪间| 欧美色日| 成人在线视频一区| 欧美在线色图| 精品九九九九九| 91嫩草在线| 香蕉久久精品| 粘花网06av视频| 97超级久久强资源| 婷婷午夜| 亚洲欧美国产其他二区| 无色无码| 中文字幕亚洲热播人妻| 呦呦影院| 日韩在线国产字幕| 999久久久九九九九| 久热精品在线| 天堂av最新电影网| 国产女人9999| 欧美日韩亚洲电影| 天天日美女的B| 玖玖爱一区在线| 91撸色网 玖玖网 欧美| 久久久久久久伊人精品| 中文?日韩?免费?精品| 国色综合天| 久久香蕉国产线看观看亚洲女人| 大香蕉2017| 欧美91色| 成人日本片久久久蜜桃| 97超级色碰碰| 粉嫩AV一区二区夜夜| 天天摸天天操视频| 91欧美经典| 婷婷性网| 91 天天综合| 精品国产乱码久久久久久蜜臀| 亚洲黄色电影| 一区在线精品中文字幕| 97日视频| 用力操死我| 天天淫人人妻日日色| 99亚洲天堂| 91丨九色丨东北熟女| 色综合色色| www.色婷婷.com| 这里只有精品视频在线| 精品精品精品| 91 国产丝袜在线放观看| 99re8超碰| 97免费在线视频在线观看| 久无码| 亚洲丝袜色图| 91欧美性| 亚州,欧美在线| 97欧美综合网| 宅男午夜在线视频| 欧美色一二三| 福利天天都操| 97免费在线观看视频| 国产资源中文字幕在线| 中文字幕五月婷婷免费| 超碰成人最新最好看| 99自拍视频在线观看| 啊啊啊啊一区| 青青草男人天堂| 亚洲在线观看| 91人妻少妇| 性爱综合一区二区| 激情干在线| 五月天成人综合| 91红杏| 日韩中文字幕宗合在线| 欧美性性性| 伊人久久久日韩一区| 亚洲区限制级 99| 欧美色网络| 黄片qw| 国产精品午夜高潮呻吟久久av| 最新欧洲欧美日本激情网站| 欧美韩国你懂得在线 | 夜夜操二区| 久久国产精品一级二级三级| 豆1无夜无码| 亚洲精品91| 国产精品不卡高清在线观看| 欧美丰满少妇xx高潮| 激情五月天丁香| 黄总AV色图| 欧美中日韩XXXX| 欧美gv在线观看| 日本 欧美 国产一区| 亚洲中文人妻色| 亚洲天天精品| 国产精品久久天天干| 牛黄色久午久| 国产精品久久久999| 亚洲国产精品久久久久婷婷青年| 人妻无码视频一区二区三区久久| 97在线视频免费观看| 狠狠中文字幕| 97爱欧美| 欧美 亚洲精品首页| 国产野战露脸在线播放| 欧美久久九九| 日韩综合97p| 性开放中文AV高清无码免费看| 97色五月天完| 四虎影视国产精品| 麻花豆传媒剧国产MV出差| 亚洲天堂男人在线| 一区,二区,三区视频| 亚洲精品九九九| 国产精品老师| 嗯~啊~快点 死我视频免费看网站| 69视频入口| 婷婷亚洲五月***久久| 日韩国产十八禁| 天美传媒AV在线| 90后性网国产欧美| 91美女视频电影| 日韩成人精品| 久久伊人网视频一区二区三区| 老女人综合| 国产精选三级在线观看| 做爱A级亚欧| 99999久久久久9国产精品| 日韩天天综合| 一区二区三区视频在线观看免费| 大乔未久88一区| 26uuu国产亚洲综合| 炮色五月| 性91| 青青操青娱乐| 亚洲资源站| 久久综合婷婷| 大粗鳼巴久久久久| 操逼日韩无码| 欧美极品色| 国产激情av女片自拍| 91天美传媒在线观看| 飘花国产午夜精品不卡| 午夜啊啊啊| 国产 亚洲 一二三四| 高清不卡一二三区视频......| 国产精品乱码久久| 91亚洲黑人| 日本精品一级二级三级| 91殴美大片| 国产三级在线现体验区| 又摸又舔在线观看网站| 另类小说综合网| 欧美91在线+|+欧美| 人人操人人操人人人操| 亚洲精品不卡一二三区| www黄片免费看com| 综合熟妇一区二区三区| 国内毛片免费h片在线| 91大香蕉伊人| www.婷婷| 久96热在线观看视频| 久久久久9999妇女| 浪人综合网| 欧美综合网站999| 六月丁香久久| 国产91影院| 久久天天躁日日躁狠狠躁| 91香蕉视频在线观看免费| 男人干美女| 加勒比在线观看一区二区| 人妻熟妇久草在线| av九九| 超碰97久久| 久久男人网| 欧美日韩香蕉| 少妇久久久久久久| 欧美曰韩国产精品| 成人免费福利在线观看| 亚洲一区二区AV| 中文字幕在在线观看网站| 亚洲 自拍偷拍 欧美| 91n.欧美| 色狠狠综合噜一二三区| 国产高清成人mv在线观看| 超碰97人人乐| 亚洲、日韩、综合、另类| 国产精品一区午夜福利| 国产路线专区| 狠色婷婷久久一区二区三区_| 韩国一级做A片免费的| 欧美色偷偷| 久久草视频污视频| 欧美1727免费观看视频| 一本精品日本在线视频精品| 久久精品高清无码一区| 久极品在线观看| 永久免费发布性爱网| 国产精品欧美在线观看| 校园春色中文字幕AV| 99精品网| 日韩国产在线观看av| 熟妇人妻精品一区二区| 中 文字幕一区二区三四 五 区日 日 骚| 黄色片大香蕉| 强奸乱伦 亚洲一区| 久久熟女精品不卡一区| 久久曰曰| 亚洲,欧美,春色,另类| 日本精品无码三级网站| 精品人妻一区二区三区日产| 五月开心久久AV官网| 熟妇人妻精品一区二区视频色欲| 精品一啪| 黄色av网站在线播放| 综合久久9| 97超级色碰碰| 香蕉久久精品| 日韩人妻少妇中文字幕| 国内三级自拍小视频在线观看| 狠狠色噜噜狠狠狠狠2018| 天天综合网~91综合网| 中文字幕av久久爽Av| 人妻熟女字幕一区二区| 操逼网站视频漫画国产| 亚洲精品无码久久AV| 久9re热视频这里只有精品| 少妇特黄一区二区三区| 欧美色图 人妻| 欧美亚洲第1页| 在线观看一卡二卡| 色婷婷电影网| 国产精品久久久久综合| 国产亚洲深夜激情| 午夜啪| 又粗又长又大国产不卡| 97美日韩视频| 亚洲人妻色图| 91丝袜人妻| 中文精品少妇天堂| 97情超碰色| 欧美亚洲宗合色性图| 亚洲欧洲无码97久久精品| 大香蕉AV丝袜| 欧美日韩99精品麻豆传媒| 国产原创自拍| 亚洲男人的天堂亚洲| 五月丁香综合网| 丁香婷婷啪啪| 日韩精品 资源| 男人的天堂2010| 噜噜在线| 69精品在线| 天天干2019| 久99视频| 很很干很很操| 99色悠悠| AND人妻系列| 欧美天天综| 亚洲色9| 欧美日韩青操| 舔舔啊| 久久国产精品视频| 欧美亚洲首页| 97视频在线播放| 精品视频在线观看精品| 东京热双插| 伊人加勒比| 射久久| av黄图片在线观看| 欧洲综合无码| 丁香五月综合| 亚洲人妻AV| 天天爽天天爽| 99热精品青草在线 | 最新日本中文字幕| 1人人看人人摸人人操| 国产av又色又爽又黄| 伊人女女资源在线观看| 久热超碰| 欧美有码亚洲中文字幕一区二区三区四区| 日本精品88888888| 制服中出中文人人精品| 久久精品女同亚洲女同13| 色吊丝 日日骚 清纯唯美| 色欧洲| 中文字幕黄片在线| av网页一区二区三区| 日本欧美国内在线| 99久久com免费视频′| 狠狠图片青青草| 中文字幕在线第二页| 啊啊啊啊啊在线视频| 久久精品国产久精国产| 超碰97 线线 在现| 亚欧免费| 亚洲天堂久久| 九九英色视频| 色偷偷2020免费视频播放| 91处女在线观看| 国产精品久久久久久久AV大片| 国产强奸超碰AV| 国产农村妇女一区二区| 国产精品久久久九九九| 人妻另类| 丰满人妻一区二区三区性色| 国产又色又爽又舒服的三级视频| 综精品久久久aaaa| 欧美日韩国产色五月综合在线| 婷婷爽人人婷婷爽视频| 五十路三级片| 亚洲欧洲视频小说在线观看| 麻豆区久久久久亚| 日本韩高清无砖码22o| 国产美女mm131爽爽爽爽| 在线黄页看毛片| 蜜桃在线观看一区二区三区| 婷婷精品久久av影视| 欧美熟妇成人一区二区| 日本综合色图| 色天堂在线观看| 国产又黄又粗又猛大片| 人妻少妇av在线观看| 国产性感在线观看| 国产熟女一区二区| 岛国视频免费在线观看| 69AV女优男人的天堂| 夜夜夜夜久久久久| 天堂中文日本在线观看| 久久久不卡区一区二区三区久久久| 日天天九九天堂666| 久久国产逼| 91精品91久久久中77777| 中文字幕女同在线| 亚洲AV秘无码一区..| 亚洲宅男天堂| 日日骚av| 在线视频免费播放一区| 亚洲欧美国产中文字幕| 亚洲欧美国产中文视频| 日韩有码免费视频| 欧美色蜜桃97| 国产精品视频白浆免费| 加勒比av中文| 中文精品一区二去| 97激情97激情| 日韩成年人性爱视频| 五月激情影院| 在线五区| av在线一区二区三区| 综合网久久| 成人免费性爱视视| 亚州情色j区| 亚洲综合在线91| 久久精品国产亚洲AV无码做| 热久日综合| 人人摸.人人色| 色99色| 99999国产| 717影院理论午夜伦八戒| 日韩不卡一二三四| 亚洲色色探花| 射丝袜大香蕉| 啪啪啪精品视频| 日本熟妇色熟妇在线视频播放| 免费少妇一区二区| 男人久久精品| 超碰在线观看av不卡| 97精品综合久久网| 日韩精品人妻一| 十八禁一区二区无码观看| 天天躁日日躁xxxxx| 日本淫穴在线| 国产51色综合久久免费| 久久高清无码夜夜操| 郑州宾馆老熟女露脸啪啪| 日本一级不卡一二区| 久久香蕉综合一本到3atv| 亚洲人妻久久久| 日韩啪啪视频| 色噜噜国产精品视频一区二区| 天天干少妇| 精品免费一区| 天天摸天天插天天日| 日韩欧美性爱电影在线观看| 青青草伊人久久| 隔壁邻居波多野结衣中文字幕| 欧美大片天天看| 亚洲激情综合另类男同| 中文字幕诱惑制服人妻丝袜美丝袜美| 中文字幕美女91| 日韩特一级久久| 日韩免费在线视频观看| 欧美激情亚洲情色| 欧美日韩91| 91精品老女人| 日韩人妻无码精品系列| 日日操丁香五月天| 哈哈操 大香蕉| 夜夜夜久久| 亚洲成人一区二区精品| 97人人射| w w w.久久精品| 麻豆国产第一| 天天综合网站| 国产高清午夜成人在线观看| 九九九九免费高| 大香蕉520| 九九热九九| 无码人妻精品一区二区三区九九 | 91 国产丝袜在线放观看| 无码精品久久| 少妇色综合| 久久婷婷五月天| 久久久99免费| 色97欧美| 天天看特黄的免费网站| 五月丁香婷婷色| 免费观看网黄| 欧美综色欧| 91撸色网 玖玖网 欧美| 黄片在线免费在线观看| 偷拍精品一区二区三区| 亚洲日韩东京热一区| 天天摸,夜夜摸| 欧美精品成人在线播放| 啪啪自拍九九综合| 伦在线97| 久久天天摸| 不卡av在线中文字幕| 久久精品无码一区二区三区| 91新在线欧美| 亚洲成人在线播放| 成 人片 黄色大片| 国产性爱强奸乱伦大全| 福利五区| 动漫区日韩区欧美区| 另类小说五月天| 911av网站免费观看| 亚州性色| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 夜夜精品视频| 91精品婷婷国产综合久久| 大香蕉 222| 亚洲超碰在线| 国产aⅴ无码片毛片一级网站| 夜夜嗨视频| 五月天激情综合网| 国内毛片婷婷六月色| 久久久91| 亚洲好色人妻| 无码人妻精品一区二区三区九九| 天天91~综合入口| 欧美日韩操操操| 日韩av免费一级电影| 欲香欲色综合天天伊人| 四虎免费视频| 婷婷三区| 久久久久久中文字幕中文字幕最新| 97最新在线播放视频| 国产最新小视频在线播放下载| 日韩一二三区| 熟女熟妇一区二区三四区| daxiangjiao你懂的| 人人妻人人色| 美女淫穴| 高潮内射在线| 人妻久久久| 韩国黄色片精品久久久| 国产成人免费观看在线视频| 综合久久久久久久综合网| 久久婷婷电影网| 亚洲图片欧美| 中文字幕在线免费观看 | 亚洲在线91| 亚洲欧洲综合| 久久久精选| …中文字幕亚洲乱,97人妻无码费视…| 97久久久精品| 9久久美女首页| 日韩国产十八禁| 久久综合中文国产| 色好看av| 久久久久久久久久黄色网| 97人人中文网| AV一二区| 欧美少妇第一页| 香蕉久久精品| 欧美日韩婷婷中文| 麻豆伊人网| 精品无码久久久久| 久久亚洲色图中文字幕| 99后入| 人妻少妇久久中文| 伊人在线大香蕉视频久久| 男人的天堂无码| 久久人妻一区二区三区高清| 在线小说视频一区| 欧美大色交| 97久久综合网| 欧美成人精品欧美一级乱黄一区二…| 国产精品不卡少妇白| 亚洲有码视频二区| 亚洲男人的天堂在线看| 91麻豆一二三区| 大屁股国产在线视频| 欧美在线干| avav青青草久久夜| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 婷婷久久久精品| 91n.欧美| 久久日本熟妇熟色一区| 欧洲性爱无码区| 日韩av免费一级电影| 国产中文大片资源中文字幕| 日韩性爱免费视频在线网站| 欧美性爱另类综合| 东京热男人的天堂网| 人妻一区二区三区| 精品久久大胆人体| 日本高清加勒比| 久久綜合很很很| 色哟哟av| 久九九九九九九九热| 99re6久热只有精品6在线直播| 婷婷五月天社区| 91色综合激情| 蜜桃精久三区| 噜噜噜久久亚洲精品色情| 91美女国产在线| 国产97亚洲| 日韩无码精品综合久久| 99热只有这里有精品| 久久久人体| 色色激情五月天| 九色97| 最新av在线| 一本色道人妻久久| 日韩中文字幕国产| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 亚洲欧美中日韩| 亚洲。天堂。日本在线观看| 久久久人妻| 手机在线播放国产福利| 欧美 亚洲 综合 制服| 超碰97最新人妻| 欧美92| 人人操肉肉| 情色AV电影| 国产情色在线| 国产精品久久久啊| 免费综合亚洲中文| 干b在线性社区| 人妻久久| 国产无码精品高清| 又黄又爽在线观看视频| 亚洲熟久久| 91天天看| 亚洲欧洲网站免费观看| 美欧老女人97| 国产日韩久久| 最近的最新的中文字幕视频| 久久视网78| 啊v在线观看视频| 色久桃花影院在线观看| 日韩啪啪啪啪啪| 日韩国产九九精品一区二区三区毛片| 91色综合| 五月天激情四射| 97免费免费视频网| 欧美高清第一页| 久久婷婷亚洲| 加勒比伊人影院| 搡老女人老91妇女老熟女| 国产成人精品亚洲日本| 九九九九九九成人| 综合久久少妇中文字幕| 五月香婷婷| 欧美肥臀在线| 久久美女国产| 91偷拍欧美亚洲| 91天美| 亚洲福利中文字幕在线| 日韩欧亚太美不卡| 午夜精品久久久久久久久久久久久| 无码国产精品久久久久| 日韩情色AV| 操国产逼| 97精品国产97久久久久久免费| 亚洲综合色图欧美| 九九色图| 中文字幕色AV| 国产一级作爱毛片| 欧美日韩黄色片一区二区三区四区人与兽做爱 | 草B在线| 在线无码操| 国产嫩草精品A88AV在线| 91天天综合网| 亚洲色图91欧美日韩| 操一对老熟妇爽上天视频| 成人国产精品三级A片| 日韩av情韩国爱禁区av一区二区 | 成人性爱av| 加勒比综合九九99视频在线播放| 清纯唯美亚洲综合| 久久,精品一二三| 4tube欧美女厕所| 国产福利精品最新在线 | 97国产中文| 日本在线视频导航| 97视频在线免费| 亚洲Av无码成人精品国产| 夜夜国自区| 亚洲aV无码成人在线观看| 久久久免费视频18| 青娱乐国产精品| 久欲AV| 97国产成人精品免费视频| 久久中久文96| 人妻熟女av国产网站| 玖玖资源视频一区二区三区| 亚洲aV性爱| 97精品一区二区三区免费| 中文字幕精品一区二区精品| 亚洲精品九九九| 色综合中文字幕不卡| A级在线视频| 嫩草伊人久久精品| 97人人操人人摸| 亚洲欧洲第二视频在线观看色图| 思思热在线cao| 热的中文 热的有码 热的国产| 国产97色在线| 揉揉日日日日| 精品免费一区二区三区在线亚洲人成| 射久久| 97色爱| 成人激情无码在线视频| 99热线麻豆| 啪啪视频mP4| 国产一区二区三三视频| 青操影院| 激情五月综合网| 98人妻精品一区二区色欲| 日本天天干天天搞一区| www.色婷婷色综合| 亚洲色图亚洲| 麻豆一区二区三区精品| 亚洲成a人片在线观看中文!!!| 91国产丝袜美女| 亚洲色婷婷| 国产熟女精品一区二区| 在线视频五十市| 人人插人人搞人人操| 国产精品乱码久久久久久久久| 欧美.亚洲.另类.丝袜.制服.诱惑| 精品亚洲一区在线观看| 91模特在线观看| 男人天堂.AB| 国产AV久久野战精品| 久久香蕉国产线看观看亚洲女人| 韩国轻伦国内自拍一区| 熟女精品va中文字幕| 天天综合网~91| 色香在线| 92福利社视频| 日本操逼视频导航| 9久久久久| 亚码人妻| 久久久蜜桃一区二区三区| 无码操逼视频一下| 亚洲黄色电影| 色婷婷淫色网| 大香蕉在线视频15| 日韩av一级黄片| 免费看黄片现成| 精品夜夜澡人妻无码AV| 亚洲欧洲无码97久久精品| 婷婷五月天成人网| 亚洲色图欧美色图日韩色图| 4虎在线观看| 男人的天堂日韩| 97网址www| 久久鲁干| 成年人三级黄色片视频| 亚州性色| 超碰在线1234区| 欧美se亚洲| 久久综合婷婷| 亚洲AV无码翔田千里网站| 91在线视频国产网站| 九九这里只有精品| 粉嫩AV一区夜夜嗨| 丁香六月天| 日逼国产| 国模艳艳啪啪一区| 日本黄大片在线观看视频| 99999国产| 超碰伊人在线| 美女91在线观看| 偷窥自拍亚洲色图| 99在线观看| 极品美女福利在线观看| 国产视频一区二区三区在线免费观看 | 久久久久久久久九九久孕交| 日日夜夜干| 性做久久久久久免费观看软件| 岛国毛片在线观看免费| 五月丁香六月综合缴清无码 | 亚洲风情在线观看| 九九夜精品九九在线| 综合国产97| 夜夜嗨一区二区| 成人网站 免费观看| 国产隔壁老王影院在线| 秋霞Av理论一级在线| 伊人性在线视频| 另类专区加勒比| 97精品久久久久中文字幕| 五月婷婷性爱| 九色婷婷| 凹凸视频特色日本特黄| 色婷婷导航| 日本在线视频导航| 欧美一区二区三区入口| 大香蕉视频一二三区| 绯色一区二区三区不卡少妇| 3P丝袜熟女 色综合| 久久黄黄黄| 亚洲情色 自拍| 91痴汉| 99日视频在线免费| 久久久草草精品| 伊人四虎综合| 超碰97久久国| 欧美天天在线| 97在线青| 熟女精品一区二区在线观看| 97天天在线| 日韩97视频| 青青草女人天天干| 韩日巨乳美女免费视频在线观看| 欧美在线官网| 青青青国产| 国产精品久久久久久夜夜夜| 国产天天骚| 欧美se亚洲| 亚洲欧洲日产国产综合网| 九九九九久久久| 极品丝袜无码| 91jk色拍| 黑人精品久久97| 日本五十路在线| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 99这里只有精品| 涩五月婷婷| 嗯嗯嗯,草死我| 四虎视频在线观看| 黄色片G G G| 婷婷探花久久精品一区| 蜜桃臀AV在线| 躁躁躁日日躁2020| 中文字幕精品探花视频| 亚洲无码一区成人免费午夜| 91少妇人妻| 日本成人免费一区二区三区| 青娱乐亚洲自拍| 日本3级一区二区免费| 婷婷91| 精品久久久九九九孕妇| 欧美国产视频| 国产精品suv一区| 999九九九九国产动| 日日AAvv| 久久超碰国产一区二区三区| 日韩操逼HD| 婷婷91| 国产精品熟女AV中文字幕在线播放| 亚洲不卡不卡中文字幕不卡| 亚洲综合九| 青青草一区二区高清无码视频| 久久精品黄色| 操操逼视频| 国产欧美日韩精品中文| 欧美99| 日产中文字幕2020| 91亚.色| 亚洲情色欧美| 中文字幕精品日韩中文字幕| 九九香蕉网| 亚洲欧美九九| 久久久少妇诱惑精品视频| 欧洲综合色图| 影音先锋乱伦资源| 久久久成人国产精品无码| 欧美精品另类人妖xxxx| 亚州色图片在线色| 黑人综合网| 操逼操逼逼操操逼91 | 午夜九九| 97超碰人人模人人拍人人| 国产色呦呦| 91丝袜美腿网站| 欧美淫乱视频| 涩涩涩综合| 五月婷婷丁香| 久久婷婷欧美| 女人天堂av在线播放| 秋霞蝌科网日本一区| 天堂av2019| 国产怡红院在线| 久久精品国产亚洲妲己影视| 91超级碰| 啊啊啊啊视频免费| 久久久久久99999国产精品| 我要去看2个日本美女.com曹逼| 午夜色婷婷| 亚洲欧洲第二视频在线观看色图| 少妇久久| 欧美黄片视频在线观看免费 | 亚洲在线91| 免费观看啪视频| 蜜臀精品1区2区| 精品人妻一区二区三区免费视频| 影音先锋视频在线| 性站| 欧美色交| 午夜爽爽爽在线观看永久入口姬片| 欧美综合色站| 台湾佬大香蕉| 91一起操| 青青草自拍视频在线播放| 日韩素人无码一区二区三区三州| 韩国一区二区精品亚洲| 欧洲精品人妻| 蜜臀无码视频在线观看| 超碰97起碰| 色臀aV| 18禁精品网站在线看| 天天综合影院91| 97网色|