久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

從零構(gòu)建LLM評估框架:實(shí)戰(zhàn)Harness實(shí)現(xiàn)與多模型對比測試

從零構(gòu)建LLM評估框架:實(shí)戰(zhàn)Harness實(shí)現(xiàn)與多模型對比測試 1. 項(xiàng)目緣起從“黑盒”到“白盒”的探索最近在折騰大模型應(yīng)用開發(fā)時(shí)我遇到了一個(gè)挺典型的問題手頭有好幾個(gè)不同的LLM大語言模型服務(wù)比如OpenAI的GPT、Claude還有幾個(gè)開源的模型。每次想測試一個(gè)新提示詞Prompt在不同模型上的效果或者對比不同模型對同一任務(wù)的響應(yīng)質(zhì)量都得手動一個(gè)個(gè)去調(diào)用API然后把返回結(jié)果復(fù)制粘貼到文檔里再人工去比對。這個(gè)過程不僅繁瑣低效而且很難做到標(biāo)準(zhǔn)化評估比如響應(yīng)時(shí)間、輸出格式一致性、成本消耗這些關(guān)鍵指標(biāo)全靠感覺。這讓我想起了軟件測試?yán)锏摹皽y試工具鏈”。我們不會手動去點(diǎn)每一個(gè)按鈕來測試功能而是會用像JUnit、Pytest這樣的框架來編寫自動化測試用例。那么對于LLM應(yīng)用是不是也應(yīng)該有這樣一個(gè)“測試框架”呢這就是我接觸到“Harness”概念的起點(diǎn)。在AI工程領(lǐng)域Harness這個(gè)詞常被用來指代一套用于評估、測試和管理AI模型特別是LLM的框架或工具集。它的核心目標(biāo)是把模型評估這個(gè)事從隨意、手工的狀態(tài)變成系統(tǒng)化、自動化、可重復(fù)的過程。網(wǎng)上確實(shí)有一些現(xiàn)成的工具比如著名的lm-evaluation-harness現(xiàn)在常被稱為EleutherAI LM Harness。它功能強(qiáng)大覆蓋了海量的評測任務(wù)。但我在實(shí)際想用的時(shí)候發(fā)現(xiàn)了一些痛點(diǎn)一是它通常更偏向于學(xué)術(shù)界的基準(zhǔn)測試對于我這種想快速驗(yàn)證業(yè)務(wù)場景提示詞效果的開發(fā)者來說有點(diǎn)“重”二是它的配置和擴(kuò)展對于不熟悉其代碼結(jié)構(gòu)的人來說學(xué)習(xí)成本不低三也是最重要的我想徹底搞明白這背后的機(jī)制而不是當(dāng)一個(gè)“調(diào)包俠”。知其然更要知其所以然自己動手實(shí)現(xiàn)一個(gè)輕量化的、貼合自身需求的Harness就成了一個(gè)很有吸引力的挑戰(zhàn)。所以這個(gè)項(xiàng)目的標(biāo)題“實(shí)戰(zhàn)復(fù)盤我是如何用代碼實(shí)現(xiàn) Harness 的”就是記錄我從零開始用Python設(shè)計(jì)和編碼構(gòu)建一個(gè)屬于我自己的、輕量級LLM評估工具鏈的全過程。它不追求大而全而是聚焦于解決我實(shí)際開發(fā)中的痛點(diǎn)自動化、標(biāo)準(zhǔn)化地對比不同LLM API對同一組提示詞的響應(yīng)。2. 核心設(shè)計(jì)思路一個(gè)輕量評估框架的藍(lán)圖在開始敲代碼之前我得先想清楚這個(gè)自研Harness到底要干什么以及怎么干。大方向是自動化評估但具體落到設(shè)計(jì)上需要拆解出幾個(gè)核心模塊。2.1 需求定義與架構(gòu)選型我的核心需求很明確多模型支持能夠方便地接入不同的LLM服務(wù)提供商如OpenAI、Anthropic、Google等以及本地模型。任務(wù)定義能夠以結(jié)構(gòu)化的方式定義一組“評測任務(wù)”每個(gè)任務(wù)包含輸入提示詞Prompt和預(yù)期的評估標(biāo)準(zhǔn)不一定是標(biāo)準(zhǔn)答案可能是評分規(guī)則。自動化執(zhí)行框架能自動遍歷所有任務(wù)調(diào)用配置的模型執(zhí)行推理并收集結(jié)果。結(jié)果收集與比對將不同模型對同一任務(wù)的結(jié)果并排收集方便人工或自動比對。需要記錄關(guān)鍵指標(biāo)如響應(yīng)內(nèi)容、耗時(shí)、Token使用量、成本如果API計(jì)費(fèi)等??蓴U(kuò)展性易于添加新的模型接口、新的評估指標(biāo)或新的任務(wù)類型?;谶@些需求一個(gè)典型的分層架構(gòu)浮現(xiàn)在腦海中任務(wù)層 (Task Layer)負(fù)責(zé)定義和管理具體的評測任務(wù)。一個(gè)任務(wù)就是一個(gè)(prompt, evaluation_criteria)對。執(zhí)行層 (Execution Layer)核心引擎。負(fù)責(zé)加載任務(wù)調(diào)用配置好的模型執(zhí)行推理并處理可能的錯(cuò)誤如網(wǎng)絡(luò)超時(shí)、API限流。模型適配層 (Model Adapter Layer)這是實(shí)現(xiàn)多模型支持的關(guān)鍵。為每個(gè)支持的LLM服務(wù)編寫一個(gè)統(tǒng)一的“適配器”Adapter將框架內(nèi)部的通用請求格式轉(zhuǎn)換為特定API所需的格式并解析其返回結(jié)果。結(jié)果層 (Result Layer)定義標(biāo)準(zhǔn)化的結(jié)果數(shù)據(jù)結(jié)構(gòu)并負(fù)責(zé)將不同模型對同一任務(wù)的結(jié)果聚合、持久化如保存為JSON或CSV文件并生成易于閱讀的報(bào)告如Markdown表格。為什么不直接用langchain這類框架langchain的核心是構(gòu)建復(fù)雜的工作流鏈Chain其LLM類雖然也統(tǒng)一了接口但它的設(shè)計(jì)重心在于鏈?zhǔn)秸{(diào)用和記憶等高級功能對于純粹的、批量的、帶對比的模型評測場景封裝得不夠直接。自己實(shí)現(xiàn)可以更聚焦控制每一個(gè)細(xì)節(jié)比如精確計(jì)時(shí)、自定義重試邏輯、更靈活的結(jié)果收集。2.2 關(guān)鍵技術(shù)點(diǎn)與工具選型編程語言毫無疑問是Python。它在AI和數(shù)據(jù)科學(xué)領(lǐng)域的生態(tài)是無與倫比的有豐富的HTTP客戶端、數(shù)據(jù)處理和序列化庫。異步 vs 同步考慮到可能會批量測試數(shù)十上百個(gè)提示詞使用異步IO可以大幅提升效率尤其是在網(wǎng)絡(luò)請求成為瓶頸時(shí)。Python的asyncio庫和aiohttp是首選。配置管理模型的API Key、Base URL等敏感信息不能硬編碼。使用pydantic配合.env文件或config.yaml來管理配置既安全又靈活。數(shù)據(jù)序列化任務(wù)定義和結(jié)果存儲使用JSON格式因?yàn)樗强缯Z言、人類可讀的并且Python的json模塊支持得很好。對于最終報(bào)告可以結(jié)合pandas將結(jié)果轉(zhuǎn)為DataFrame再輸出為CSV或Markdown。錯(cuò)誤處理與重試網(wǎng)絡(luò)請求不穩(wěn)定API有速率限制。必須實(shí)現(xiàn)健壯的錯(cuò)誤處理和指數(shù)退避的重試機(jī)制。tenacity庫是一個(gè)很好的選擇。這個(gè)設(shè)計(jì)藍(lán)圖看起來清晰了接下來就是把這些模塊用代碼搭建起來。3. 分步實(shí)現(xiàn)從零搭建代碼Harness我將按照自底向上的順序先實(shí)現(xiàn)最基礎(chǔ)的模型適配器再構(gòu)建執(zhí)行引擎最后定義任務(wù)和結(jié)果處理。3.1 第一步構(gòu)建統(tǒng)一的模型適配器接口適配器的目標(biāo)是對外提供統(tǒng)一的generate(prompt: str) - str方法對內(nèi)處理各自API的差異。首先定義一個(gè)抽象基類規(guī)定所有適配器必須實(shí)現(xiàn)的方法。# model_adapters/base.py import abc from typing import Optional, Dict, Any from pydantic import BaseModel class ModelResponse(BaseModel): 標(biāo)準(zhǔn)化的模型響應(yīng)結(jié)構(gòu) content: str # 模型返回的文本內(nèi)容 model_name: str # 模型標(biāo)識如 gpt-4 prompt_tokens: Optional[int] None completion_tokens: Optional[int] None total_tokens: Optional[int] None latency: Optional[float] None # 請求耗時(shí)單位秒 cost: Optional[float] None # 估算成本單位美元或其他貨幣 class BaseModelAdapter(abc.ABC): 模型適配器抽象基類 def __init__(self, model_name: str, **kwargs): self.model_name model_name # 可以在這里初始化客戶端如OpenAI客戶端 self.client self._initialize_client(**kwargs) abc.abstractmethod def _initialize_client(self, **kwargs): 初始化特定模型的客戶端 pass abc.abstractmethod async def generate_async(self, prompt: str, **generation_params) - ModelResponse: 異步生成文本的核心方法。 :param prompt: 輸入的提示詞 :param generation_params: 模型特定的生成參數(shù)溫度、top_p等 :return: 標(biāo)準(zhǔn)化的ModelResponse對象 pass # 也可以提供一個(gè)同步版本作為備選 def generate_sync(self, prompt: str, **kwargs) - ModelResponse: import asyncio return asyncio.run(self.generate_async(prompt, **kwargs))接下來實(shí)現(xiàn)一個(gè)具體的適配器比如OpenAI的。# model_adapters/openai_adapter.py import time from typing import Optional import openai from .base import BaseModelAdapter, ModelResponse class OpenAIModelAdapter(BaseModelAdapter): def _initialize_client(self, api_key: str, base_url: Optional[str] None, **kwargs): # 使用OpenAI官方庫或直接HTTP請求 client openai.AsyncOpenAI(api_keyapi_key, base_urlbase_url) return client async def generate_async(self, prompt: str, **generation_params) - ModelResponse: start_time time.time() try: # 設(shè)置默認(rèn)參數(shù)并允許通過kwargs覆蓋 params { model: self.model_name, messages: [{role: user, content: prompt}], temperature: 0.7, max_tokens: 1024, **generation_params # 用戶自定義參數(shù)優(yōu)先級最高 } response await self.client.chat.completions.create(**params) end_time time.time() latency end_time - start_time # 提取響應(yīng)內(nèi)容 content response.choices[0].message.content # 提取Usage信息 usage response.usage prompt_tokens usage.prompt_tokens if usage else None completion_tokens usage.completion_tokens if usage else None total_tokens usage.total_tokens if usage else None # 簡單成本估算示例實(shí)際需根據(jù)官方定價(jià)計(jì)算 cost None if total_tokens: # 這里需要根據(jù)具體模型定價(jià)設(shè)置例如 gpt-4o 的輸入輸出價(jià)格 # 僅為示例非真實(shí)計(jì)算 cost total_tokens * 0.00001 return ModelResponse( contentcontent, model_nameself.model_name, prompt_tokensprompt_tokens, completion_tokenscompletion_tokens, total_tokenstotal_tokens, latencylatency, costcost ) except Exception as e: end_time time.time() # 返回一個(gè)包含錯(cuò)誤信息的響應(yīng)而不是直接拋出異常便于框架統(tǒng)一處理 return ModelResponse( contentf[ERROR] {str(e)}, model_nameself.model_name, latencyend_time - start_time )注意成本估算是非常粗略的實(shí)際應(yīng)用中需要根據(jù)每個(gè)模型的官方定價(jià)表如每1000個(gè)輸入/輸出Token的價(jià)格來實(shí)現(xiàn)精確計(jì)算邏輯并考慮是否區(qū)分輸入和輸出Token。這里僅作演示。同理可以創(chuàng)建AnthropicModelAdapter、GoogleGeminiAdapter等。對于通過ollama運(yùn)行的本地模型可以創(chuàng)建一個(gè)OllamaModelAdapter其_initialize_client可能只是一個(gè)配置了基礎(chǔ)URL的httpx.AsyncClient而generate_async方法則向http://localhost:11434/api/generate發(fā)送特定的POST請求。3.2 第二步定義任務(wù)與構(gòu)建執(zhí)行引擎任務(wù)定義很簡單就是一個(gè)包含提示詞和元數(shù)據(jù)的對象。# tasks/task.py from pydantic import BaseModel from typing import Optional, Dict, Any class EvaluationTask(BaseModel): id: str # 任務(wù)唯一標(biāo)識 prompt: str # 提示詞 metadata: Optional[Dict[str, Any]] None # 可附加額外信息如類別、預(yù)期答案片段等執(zhí)行引擎HarnessRunner是大腦。它負(fù)責(zé)加載所有任務(wù)初始化所有配置的模型適配器然后并發(fā)地執(zhí)行每個(gè)任務(wù)在所有模型上的推理。# harness/runner.py import asyncio from typing import List, Dict from tasks.task import EvaluationTask from model_adapters.base import BaseModelAdapter from result_collector import ResultCollector # 稍后實(shí)現(xiàn) class HarnessRunner: def __init__(self, model_adapters: Dict[str, BaseModelAdapter]): :param model_adapters: 字典key為模型顯示名value為初始化好的適配器實(shí)例 self.model_adapters model_adapters self.collector ResultCollector() async def run_task(self, task: EvaluationTask, model_name: str, adapter: BaseModelAdapter): 單個(gè)任務(wù)在單個(gè)模型上執(zhí)行 print(fRunning task {task.id} on model {model_name}...) response await adapter.generate_async(task.prompt) # 將結(jié)果存入收集器 self.collector.add_result(task_idtask.id, model_namemodel_name, responseresponse, task_metadatatask.metadata) async def run_all_tasks(self, tasks: List[EvaluationTask]): 并發(fā)執(zhí)行所有任務(wù)在所有模型上 semaphore asyncio.Semaphore(10) # 控制最大并發(fā)數(shù)避免被API限流 async def run_with_semaphore(task, model_name, adapter): async with semaphore: await self.run_task(task, model_name, adapter) # 創(chuàng)建所有協(xié)程任務(wù) coroutines [] for task in tasks: for model_name, adapter in self.model_adapters.items(): coroutines.append(run_with_semaphore(task, model_name, adapter)) # 并發(fā)執(zhí)行 await asyncio.gather(*coroutines, return_exceptionsTrue) # return_exceptions防止單個(gè)失敗導(dǎo)致整體崩潰 print(All tasks completed.) return self.collector這里的關(guān)鍵是使用了asyncio.Semaphore來控制最大并發(fā)量。無節(jié)制地并發(fā)調(diào)用API很容易觸發(fā)速率限制Rate Limit導(dǎo)致大量請求失敗。設(shè)置一個(gè)合理的信號量值比如5或10是保證穩(wěn)定運(yùn)行的重要技巧。3.3 第三步實(shí)現(xiàn)結(jié)果收集與報(bào)告生成結(jié)果收集器需要結(jié)構(gòu)化地存儲數(shù)據(jù)并支持導(dǎo)出。# result_collector.py from typing import List, Dict, Any from model_adapters.base import ModelResponse import pandas as pd import json class ResultCollector: def __init__(self): self.results: List[Dict[str, Any]] [] # 存儲所有結(jié)果的列表 def add_result(self, task_id: str, model_name: str, response: ModelResponse, task_metadata: Dict None): record { task_id: task_id, model: model_name, prompt: task_metadata.get(prompt_snippet, ) if task_metadata else , # 可存提示詞片段 response: response.content, latency: response.latency, total_tokens: response.total_tokens, cost: response.cost, error: [ERROR] in response.content # 簡單錯(cuò)誤標(biāo)識 } self.results.append(record) def to_dataframe(self) - pd.DataFrame: 將結(jié)果轉(zhuǎn)換為Pandas DataFrame便于分析 return pd.DataFrame(self.results) def save_to_json(self, filepath: str): with open(filepath, w, encodingutf-8) as f: json.dump(self.results, f, ensure_asciiFalse, indent2) def generate_report(self, output_path: str report.md): 生成一個(gè)簡單的Markdown格式報(bào)告 df self.to_dataframe() if df.empty: report # Evaluation Report\n\nNo results collected. else: # 按任務(wù)ID分組橫向?qū)Ρ炔煌P偷捻憫?yīng) report_lines [# LLM Evaluation Harness Report\n] for task_id in df[task_id].unique(): report_lines.append(f\n## Task: {task_id}\n) task_df df[df[task_id] task_id] # 選擇需要展示的列 display_df task_df[[model, response, latency, total_tokens, cost]] report_lines.append(display_df.to_markdown(indexFalse)) report_lines.append(\n---) report \n.join(report_lines) with open(output_path, w, encodingutf-8) as f: f.write(report) print(fReport generated: {output_path})3.4 第四步組裝與運(yùn)行——一個(gè)完整的示例現(xiàn)在我們把所有部分組裝起來寫一個(gè)主程序。# main.py import asyncio import yaml from tasks.task import EvaluationTask from model_adapters.openai_adapter import OpenAIModelAdapter from model_adapters.anthropic_adapter import AnthropicModelAdapter # 假設(shè)已實(shí)現(xiàn) from harness.runner import HarnessRunner def load_config(config_path: str): with open(config_path, r) as f: return yaml.safe_load(f) def create_tasks(): 創(chuàng)建評測任務(wù)列表 tasks [ EvaluationTask( idtask_1_summarize, prompt請用一句話總結(jié)《三體》的核心矛盾。, metadata{category: summarization, language: zh} ), EvaluationTask( idtask_2_code, prompt用Python寫一個(gè)函數(shù)判斷一個(gè)字符串是否是回文。, metadata{category: code_generation} ), EvaluationTask( idtask_3_reasoning, prompt如果所有貓都怕水而我的寵物Socks是一只貓那么Socks怕水嗎請一步步推理。, metadata{category: logical_reasoning} ), ] return tasks async def main(): # 1. 加載配置API Keys等應(yīng)從環(huán)境變量或安全配置讀取 config load_config(config.yaml) # 2. 初始化模型適配器 model_adapters {} openai_config config[models][openai] model_adapters[gpt-4o] OpenAIModelAdapter( model_namegpt-4o, api_keyopenai_config[api_key] # base_url... 可配置 ) # 同理初始化Claude # model_adapters[claude-3-sonnet] AnthropicModelAdapter(...) # 3. 創(chuàng)建執(zhí)行器 runner HarnessRunner(model_adapters) # 4. 加載任務(wù) tasks create_tasks() # 5. 運(yùn)行所有任務(wù) collector await runner.run_all_tasks(tasks) # 6. 保存結(jié)果和生成報(bào)告 collector.save_to_json(results.json) collector.generate_report(evaluation_report.md) # 7. 快速查看統(tǒng)計(jì)信息 df collector.to_dataframe() print(\n 性能摘要 ) summary df.groupby(model).agg({ latency: mean, total_tokens: mean, cost: sum, error: sum }).round(3) print(summary) if __name__ __main__: asyncio.run(main())對應(yīng)的config.yaml文件示例# config.yaml models: openai: api_key: ${OPENAI_API_KEY} # 建議通過環(huán)境變量注入 # base_url: https://api.openai.com/v1 # 默認(rèn) anthropic: api_key: ${ANTHROPIC_API_KEY}運(yùn)行這個(gè)主程序你會得到一份詳細(xì)的Markdown報(bào)告里面并排列出了GPT-4和Claude如果配置了對三個(gè)不同任務(wù)的回答、耗時(shí)和Token消耗以及一個(gè)匯總的性能統(tǒng)計(jì)表。4. 進(jìn)階優(yōu)化與功能擴(kuò)展基礎(chǔ)框架跑通后就可以根據(jù)實(shí)際需求添加更多實(shí)用功能了。4.1 實(shí)現(xiàn)復(fù)雜的評估邏輯之前的評估主要靠人眼看報(bào)告。我們可以引入自動評估。例如對于代碼生成任務(wù)可以寫一個(gè)函數(shù)來運(yùn)行生成的代碼并檢查其正確性。# evaluators/code_evaluator.py import subprocess import tempfile import os def evaluate_python_code(code_snippet: str, test_input: str, expected_output: str) - Dict[str, Any]: 評估Python代碼片段。 :param code_snippet: 模型生成的代碼字符串 :param test_input: 測試輸入以字符串形式在代碼中可能需要被讀取 :param expected_output: 期望輸出 :return: 包含通過與否、實(shí)際輸出、錯(cuò)誤信息的字典 result {passed: False, actual_output: None, error: None} # 將代碼片段包裝在一個(gè)可執(zhí)行的腳本中 full_code f import sys {code_snippet} # 假設(shè)生成的函數(shù)叫 is_palindrome if __name__ __main__: # 這里可以設(shè)計(jì)更復(fù)雜的測試 test_str \{test_input}\ output is_palindrome(test_str) print(str(output).lower()) # 統(tǒng)一輸出為小寫字符串便于比較 with tempfile.NamedTemporaryFile(modew, suffix.py, deleteFalse) as f: f.write(full_code) temp_file_path f.name try: # 執(zhí)行代碼 process subprocess.run( [sys.executable, temp_file_path], capture_outputTrue, textTrue, timeout5 # 設(shè)置超時(shí)防止死循環(huán) ) actual_output process.stdout.strip() result[actual_output] actual_output if process.returncode 0: # 簡單比較輸出 result[passed] (actual_output expected_output.lower()) else: result[error] process.stderr except subprocess.TimeoutExpired: result[error] Execution timeout except Exception as e: result[error] str(e) finally: os.unlink(temp_file_path) # 清理臨時(shí)文件 return result然后可以在ResultCollector.add_result方法中根據(jù)任務(wù)元數(shù)據(jù)調(diào)用對應(yīng)的評估器并將評估結(jié)果如eval_passed: True也存入記錄中。4.2 集成更強(qiáng)大的結(jié)果分析與可視化pandas和matplotlib/seaborn是絕配。我們可以輕松地?cái)U(kuò)展報(bào)告生成功能。# result_collector.py (補(bǔ)充) import matplotlib.pyplot as plt import seaborn as sns class ResultCollector: # ... 之前的代碼 ... def generate_visual_report(self, output_dir: str ./reports): 生成可視化圖表 df self.to_dataframe() if df.empty: return os.makedirs(output_dir, exist_okTrue) # 1. 模型平均延遲對比柱狀圖 plt.figure(figsize(10, 6)) latency_df df.groupby(model)[latency].mean().sort_values() sns.barplot(xlatency_df.index, ylatency_df.values) plt.title(Average Latency per Model) plt.ylabel(Latency (seconds)) plt.xticks(rotation45) plt.tight_layout() plt.savefig(os.path.join(output_dir, avg_latency.png)) plt.close() # 2. 每個(gè)任務(wù)各模型的響應(yīng)對比分組柱狀圖例如對比Token消耗 # ... 更多圖表生成代碼 ...4.3 設(shè)計(jì)任務(wù)模板與批量導(dǎo)入手動在代碼里寫EvaluationTask列表很麻煩??梢栽O(shè)計(jì)一個(gè)YAML或JSON格式的任務(wù)模板文件。# tasks.yaml tasks: - id: summarize_article_1 prompt: | 請總結(jié)以下文章的主要內(nèi)容 《文章內(nèi)容...》 category: summarization evaluation: type: contains_keywords keywords: [量子計(jì)算, 優(yōu)勢, 挑戰(zhàn)] - id: translate_sentence_1 prompt: | 將以下英文句子翻譯成中文 The rapid advancement of artificial intelligence presents both unprecedented opportunities and significant ethical challenges. category: translation然后寫一個(gè)TaskLoader來讀取這個(gè)文件批量創(chuàng)建EvaluationTask對象。這樣非開發(fā)人員比如產(chǎn)品經(jīng)理也能通過編輯YAML文件來設(shè)計(jì)評測集。5. 避坑指南與實(shí)戰(zhàn)心得在開發(fā)和使用的過程中我踩過不少坑也積累了一些經(jīng)驗(yàn)。5.1 網(wǎng)絡(luò)與API穩(wěn)定性處理指數(shù)退避重試網(wǎng)絡(luò)抖動和API臨時(shí)過載很常見。一定要為重試邏輯設(shè)置隨機(jī)延遲Jitter和最大重試次數(shù)。tenacity庫讓這一切變得簡單。from tenacity import retry, stop_after_attempt, wait_exponential, retry_if_exception_type import openai retry( stopstop_after_attempt(3), waitwait_exponential(multiplier1, min4, max10), retryretry_if_exception_type((openai.APITimeoutError, openai.APIError)) ) async def robust_api_call(adapter, prompt): return await adapter.generate_async(prompt)設(shè)置合理的超時(shí)為每個(gè)API請求設(shè)置單獨(dú)的超時(shí)如30秒防止某個(gè)慢請求阻塞整個(gè)流程。asyncio.wait_for可以配合使用。監(jiān)控與熔斷如果某個(gè)模型API持續(xù)失敗可以考慮實(shí)現(xiàn)一個(gè)簡單的熔斷器Circuit Breaker暫時(shí)跳過該模型避免浪費(fèi)時(shí)間和配額。5.2 成本控制與用量監(jiān)控精細(xì)化成本計(jì)算前面提到的成本估算是雛形。生產(chǎn)環(huán)境需要根據(jù)每個(gè)模型的官方定價(jià)精確計(jì)算輸入、輸出Token的費(fèi)用。最好將這部分邏輯抽象成一個(gè)CostCalculator類。設(shè)置預(yù)算上限在運(yùn)行大規(guī)模評測前根據(jù)任務(wù)數(shù)量和平均Token消耗預(yù)估總成本??梢栽贖arnessRunner中增加一個(gè)預(yù)算計(jì)數(shù)器當(dāng)消耗接近閾值時(shí)發(fā)出警告或停止執(zhí)行。使用日志記錄詳細(xì)記錄每個(gè)請求的Token使用情況和估算成本方便后續(xù)對賬和分析。5.3 結(jié)果評估的客觀性挑戰(zhàn)避免主觀偏見人工對比結(jié)果時(shí)很容易對某個(gè)模型有先入為主的偏好。嘗試設(shè)計(jì)更客觀的評估指標(biāo)代碼執(zhí)行像上面那樣自動運(yùn)行檢查。文本相似度對于翻譯、摘要任務(wù)使用ROUGE、BLEU或BERTScore等指標(biāo)與參考答案對比。規(guī)則檢查對于要求特定格式如JSON、XML的輸出用解析器檢查其合法性。設(shè)計(jì)多樣化的測試集測試用例要覆蓋不同難度、不同領(lǐng)域、不同指令類型創(chuàng)意寫作、邏輯推理、信息提取等避免評估結(jié)果片面。記錄“軟指標(biāo)”除了正確性在報(bào)告中也可以加入人工標(biāo)注的“流暢度”、“創(chuàng)造性”、“遵循指令程度”等評分但這些需要多人標(biāo)注來減少偏差。5.4 性能優(yōu)化技巧異步并發(fā)控制Semaphore的值不是越大越好。需要根據(jù)API的速率限制如RPM, TPM來調(diào)整??梢韵仍O(shè)置一個(gè)保守值如5觀察請求成功率后再調(diào)整。連接池復(fù)用使用aiohttp.ClientSession或httpx.AsyncClient時(shí)確保在整個(gè)應(yīng)用生命周期內(nèi)復(fù)用同一個(gè)會話session以利用HTTP持久連接減少TCP握手開銷。緩存機(jī)制對于確定性的提示詞不包含隨機(jī)數(shù)或動態(tài)時(shí)間可以考慮將模型的響應(yīng)緩存起來例如使用diskcache或redis。這樣在多次運(yùn)行或調(diào)試時(shí)可以避免重復(fù)調(diào)用API節(jié)省成本和時(shí)間。自己動手實(shí)現(xiàn)一個(gè)Harness的過程遠(yuǎn)比單純調(diào)用一個(gè)現(xiàn)成工具收獲大。它不僅讓你對LLM API的細(xì)節(jié)有了更深的掌控更重要的是它迫使你系統(tǒng)化地思考如何評估一個(gè)AI模型的好壞。這套框架現(xiàn)在已經(jīng)成為我日常工作流的一部分每當(dāng)有新的提示詞策略或需要選型新模型時(shí)跑一遍Harness讓數(shù)據(jù)說話決策就變得清晰多了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产精品直播在线观看直播| 日韩欧美蜜桃精品久久中文字幕久久 | 久久精品国产亚洲AV片多多 | 国产女人9999| 精品69网| 亚洲 小说 欧美 激情 另类| 性在久久久久久| 久久成人国产| 亚洲无线观看久久| 眼镜人妻101.com| 亚洲一区二区中文字幕| 97AV爱| 欧美激情片一区二区| 欧美日韩人妻婷婷一区| 啊啊啊好舒服视频| 中文字幕丝袜国产第一页不卡| 日本精品无码三级网站| 国产亲戚伦亲在线| 久久超碰爱| 五十路熟女工口| 天天综合站| 巨乳特殊服务按摩| 欧美十八禁视频| 天天干夜夜一操| 成人五月香网在线| 91人妻久久久久久久久久久久久| 久艹日日日| 国产三级中文字幕粉嫩| 大学生美女口爆| 999亚洲国产视频| 欧美激情五月天| AV老汉| 天天影视网色欲色香| 男人的天堂Va| ji熟女.com| 伊人婷婷五月天| 日日AV加勒比| 亚洲另类春色| www.人人cao| 久久久久久性爱视频| 欧美性天天影院| 国产白丝av| 日本五十路熟女一区二区| а√天堂资源官网在线资源| 毛片电影一区二区三区| 色娱乐色呦呦夜夜夜夜av| 丝袜亚洲综合| 性爱av在线免费观看| 日韩熟女精品无码专区一区二区 | 国产剧情AV不卡在线观看| 蜜色网色哟哟| 天天干人人看综合| 操久久久久久| 日本韩国五十路六十路七十路老熟女作爱视频网站 | 精品一区二区成人| 成人热久久精品| 99re99| 久久久久亚洲AV无码专区少妇| 麻豆人妻精品一区二区| 亚洲丝袜在线观看| 网页导航五月天免费一二三区| 久久五月天婷婷丁香中文字幕| 婷婷综合久久| www.久久超碰| 國產尤物AV尤物在線觀看| 激情露脸爱| 色综合91好| 欧美日韩性爱操大逼| 日韩ab网 | 操逼无码操逼| 亚洲天堂色图| 精品人妻中文字幕高清| 久久久久久亚洲精品不卡人乳 | 亚洲综合码| 亚欧美色| 亚洲激情综合| 天天躁日日躁狠狠狠躁| 九九热精品视频在线观看| 人人九九精| 日韩图区 偷拍| 免费看国产曰批40分钟怎么下载| 日本日日色视频| 人人爱人人乐人人操| 噜噜在线| 啊啊啊想要| 夜夜爽77777| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 操逼A∨| 久都青青视频| 亚洲欧美一区二区网址| 96AV久久久| 亚洲国产精品无码AV久久| 蜜桃久久综合视频| 91丨国产丨白浆秘 洗澡动漫| Av色五月| 韩国一级做a久久久久| 宅男91视频在线播放| 97 色综合| 天天看精品动漫视频一区| 99热97| 放黄片放3级黄片没穿衣服| 水澄无码AV| 亚洲开心网| 日韩久久三区| 97视频网站| 顶级少妇BT天堂| 日韩成人私密一级精品av| 91最新综合| 十八禁视频一区二区| 天天综合网91入口| 欧美日韩性爱无码| 青青草原av| 丁香六月综合激情| av三级电影在线播放| 亚射在线| 狠狠中文字幕| 天天综合网~91| 殴美性色a级欧美| 亚洲视频二区 | 蜜桃AV天堂| 成人网址在线观看| 97亚洲自在精品在线观看| 激情av| 欧美97免费| 中文字幕一区二区三区蜜桃视频| 五月天色图| 欧美成人贴图| 校园春色之综合网| 国产乱色国产精品免费视| 偷拍2020| 能看的av| 色综合V| 五月开心久久AV官网| 屁屁影院一区二区三区国产| 麻豆天美一区二区| 四虎884a| 亚洲综合20p| 好吊色一区| 亚洲二区精品在线观看| 日韩欧无码一区二区三区免费不卡| 日韩精品9999| 99色综合| 人人干黄色| 一区e区三| 狠狠干综合| A级国产欧美激情在线| silk lablo在线观看一区二区| 婷婷中文网| 少妇高潮九九九九| 影音资源男人日韩| 色综合中文字幕不卡| 久久久久久久国产视频| 91天堂视频| 欧亚在线视频| 日韩精品一区二区高清| 伊人超碰97| 日日黄色三级网站| 91欧美| 亚洲图片色图欧美另类| 欧美激情1区| 美腿丝袜高跟网免费视频免费视频| 综合网色| 嗯啊抽插大香蕉网页| 国产情色在线| 亚洲欧美日韩国产丝袜自拍中文| 日本三级中国三级99人妇网站| 大屁股熟女一区二区三区| 91超级碰| 精品欧美А∨无码黑人大荫蒂| 熟妇人妻精品一区二区| 91熟女.com| 99在线免费视频| 国产女人极品高潮毛片| 日韩精品人妻| 四虎av在线| 国产1727欧美| 国产人妻精品久久久一区二区三区 | 欧美97日韩精品| 亚洲美女AV无码| 免费超碰97久久| 99热综合在线| 成人在线日韩| 睡产熟女乱伦| 久操凹凸视频| 精品无码不卡视频| 欧美人黑A片无码免视费| 五月天人妻综合| 啊啊好多水| 国产久久一区二区午夜| 婷婷色播婷婷| 强奸乱伦日韩AV| 日韩 国产 欧美自拍| 欧美美女视频| 久久久九| 东京热大香焦| 不卡啪啪视频| 操我无码| 性videos欧美熟妇hdx| 国产成人久久精品蜜臀| 亚洲激情欧美色图| 99国产精品自在自在| 97综合在线观看| 日本网色| 国产AV激情无码久久无码| 性久久久| 精品人妻1区| 亚洲阿v天堂在线| 啪啪啪综合| 人妻激情视频| 蜜臀久久99精品久久久久久| 色原狠狠天天天| 日本精品一区二区三| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 97国产精品久久久久| 蜜臀亚洲综合一二三四区| 中文字幕一区二区三区人妻少妇在线 | 亚洲欧美综合网站| 熟女高潮合集-永久久久-成人AV | 亚洲黄色AV电影| 后入综合久久| 蜜臀久久99精品久久久久久无删减 | 青娱乐福利99| 一区AV| 1000部熟女视频在线观看| 无码不卡亚洲成?人片| 一二三区操逼国产91| 老熟妇乱轮| 国产精品第一区第一页| 思思热久久成人| 国产高清MV操逼视频| 日本国产欧美高清在线| 亚洲色诱惑| 综合色色婷婷| 五月丁香亭亭| 一二三啪啪专区| 99热免费| 影音先锋一区二区在线资源| 夜夜 中文视频rt| 最新9久久久9免费视频| 久久线上视频免费看| 99啪啪视频| 九九九九九九成人| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 中文字幕精品丝袜| 防屏蔽在线视频| 人人妻人射| 欧美亚洲中文字幕| 精品免费1| 国产污视频麻豆传媒一区二区| 中文字幕日韩人妻视频一区二区三区交换夫妻| 91无摭挡| 97K超碰在线| 欧美激情在线观看视频| 国产无码精品成人| 26uuu性| 牛牛aV| 狠狠综合网| 91黑丝少妇| 精国久久一区二区三区98| 91蜜臀人妻中文字幕在线| 青青草公开在线免费不卡视频| 久久精品久| 欧美日韩另类在线| 色婷婷激情| 色爱综合网欧美| 老汉网| 色爽——AV| www.91视频网| 午夜精品久久久久久久久久蜜桃| 日韩人妻一区二区精品| 日韩伦理久 久久 清纯| 操死我了啊啊啊| 激情小说亚洲色图| 国产亚洲精品美女久久久m| 操久久久久久| 天天情欲宗合网| 91精品国产91久久青草 | 思思热在线| 啊啊啊快操我视频| 精品无码秘 人妻一区二区 | 九九热精品在线| 少妇第一页| 热99这里有精品综合久久| 操日韩第| 欧中日成人免费影视| 国产精品视频在线播放 | 91色碰| 黑人干亚洲| 偷拍精品一区二区三区| 91在线精品| 久久夜色一区二区| 麻豆91熟妇人妻中文字幕茄子| 国产日韩欧美中文在线播放| 人人手机欧洲亚洲国产人妻| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 啊啊啊在线观看| 综合久久六月久久婷婷| 一区二区久久天天干狠狠| 后入福利| 十八禁av无码免费网站APP| 天天操夜夜操| 欧美日日人人天天| 国产日韩色综合| 九九色综合| 久久精品电影| 粉嫩av平台| 大香蕉伊人久久| 黄色一区三区| 色就色综合| 天天摸夜夜摸| 搡老女人老熟女91| 欧美性爱三区二区| 青草视频人妻在线观看| 国产在线强奸视频| 久久9亚洲| 99精品综合久久久久五月天| 亚洲97久久精品亚洲| 91国产大片| 久久久精品| 精品色色| 亚洲小说视频| 婷婷丁香六月| 97国产|免费| 中文字幕精品区先锋资源| 久久宗合亚洲| 日本东京热加勒比久久| 欧美天天综| 久啪视频| 免费在线观看国内色片网站网址 | 偷窥自拍A片| 五月天欧美色图| 东北丰满熟女国产一区| 后入式在线免费观看60秒| 男女日B国产| 色av中文字| 国产精品自拍视频| 天天色悠悠激情| 久久久久久久97| AV天天在线观看| 777超碰| 色综合天天| 久久粉色| 玖玖视频在线资源一区二区三区| 美女诱惑一区| 超碰人人妻| 操人妻视频| 曰韩精品九九无码| 国产一级舔足在线观看| 亚洲情色一区三区| 国产成人精品必看| 国产青青美女玩逼视频| 精品一区二区成人| 日天天九九天堂666| 五月丁香色色网| 91AV国产精品| 97干在线| 国产精品熟女一区二区三区| 97色视频在线| 噜噜噜在线视频| 欧亚不卡| 俄罗斯一区二区视频在线观看| 色婷婷在线视频精品导航| A一区片| 最新精品久久蜜桃 | 国产免费一区2区3区| 日韩精彩免费| 一级二级三级黑人无码| 欧美黑人168页欧美黑人167| 亚洲nv男人的天堂网| 一起草在线视频| 亚洲一二三精品久久网| 欧美另类综合久久| 日韩射精| 天天干天天日天天射黄色大片| 在线观看中文字幕| 少妇色综合| 色五月婷婷中文字幕| 丝袜亚洲综合| 日韩精品电影| 新婚人妻扶着粗大强行坐下| 久久综合97| 在线 亚洲 网爆 自拍| 小日子操bb在线看| 久久大香蕉97| 大香蕉伊人在线成人AV在线观看| 三级网色| 先锋女优在线观看视频| 伊人青青草久久| 欧美日韩国内不卡| 91亚洲人| 中文字幕AV片| 97超级久久强资源| 精品性爱一二三区| 起碰97| 国产成人精品午夜福利| 日本色婷婷| 国产欧美日本亚洲精品| 亚洲毛片久久| 日韩无码AB| 成人片在线播放| 亚洲色人| 人人爽夜夜玩视频| 国产精品熟女AV中文字幕在线播放| 国产一区二区三区免费视频在性观看 | 91超级碰碰碰| 日本性交操一区二区不卡系列| 曰本特级特黄特色黄色A级网站高清在线免费看 | 色偷综合| 国产精品情侣啪啪| www色日本| 亚洲欧美国产中文视频| 噜噜噜噜久久久精品免费| 日日干夜夜操视频h| 最近2019中文字幕国语免费版| 中文字幕99999| 99这里都是精品| 肥臀熟女福利视频一区二区| 手机看片1024你懂的国产| 九九综合九九综合| 亚洲熟女偷拍在线观看| 久久精品一区| 好吊色在线观看| 亚洲精品中文字幕一区在线视频| 欧美五十路熟| 91免费看一区二区三区| 97久操| 亚洲精品国产av天美传媒| 丰满人妻一区二区三区免费,| 免费作爱一级视频| 少妇高潮流水av免费| 亚洲人妻日日日| 少妇人妻激情四射| 亚洲欧美精品久| 国模精品一区二区三区苹果色戒 | 精品小视频在线| 五月丁香成人网| 免费看A片毛毛片在线播| yaouchengrenav| 欧美日韩中文字幕人妻| 天堂涩涩| 婷婷另类小说| 78久久久| 日韩 人妻 精品| 亚洲成av人片色午夜乱码| 国产精品制服丝袜清纯唯美| 草草影院最新网址| 日韩精品一区二区高清| 日韩少妇无码| 一二三区精品视频| 韩日欧亚a级| 欧美色图小说综合| 4虎在线视频| 夜夜嗨绯色| 97日视频| 99热 按摩 日韩| 国产日韩欧美亚洲精品95| 一区二区三区国产精产| 开心五月天激情网| 无码少妇精品一区二区60岁老人| 大香蕉视频一二三区| 人妻熟女一区二区在线视频| 久久只有精品一区二区三区| 无码动漫av中文字幕| 春色综合网| 国产精品成人午夜福利| 亚洲精品1区| 日韩欧美丝袜诱惑| 日韩人妻精品中文字幕| 爱爱动态试试看6 0秒| 欧美香蕉视xxx| 东京热一区二区三区四区五区六区| 久久精品视频久久久| 97人肏| 美女露胸露屁股| 亚洲熟女国产综合另类| 亚洲综合另类欧美久久久| 夜夜操夜夜爽夜夜高潮| 精品小视频在线| 99热精品国产| 色777999综合| 粉嫩av一区二区三区天美传媒 | 国产专区路线| 亚洲s在线观看| 亚洲AV免费在线观看| 国产探花精品在线| 欧美在线观看综合国产| 五月天精品| 欧美精品成人亚洲| 91在线美女| 欧美大香蕉97| 欧美精品久久96人妻无码| 欧洲中文字幕| 日日噜噜夜夜久久亚洲一区二区| 后入福利| 97超碰色色| 国产亚洲深夜激情| 欧美黄色片在线播放| 家庭乱伦麻豆| 五月婷婷丁香六月丁香| 尤物网址| 三级AV入口| 婷色五月| 影音资源男人日韩| 人妻少妇被猛烈进入中| 日日AV加勒比| 91少妇高潮| 翔田千里一区二区三区奶水| 999狠狠综合| 超碰美国| 2018天天干在线视频| 日韩无码黄色片| 搡老熟女免费视频| 精品超碰中文在线| 成人精品在线| 天天综合网站| 午夜福利在线视频1000| 中文字幕第二页| 3PAV乱伦视频| 熟女激情综合网| 在线观看精品国产免费| 欧洲中文字幕| 99re28在线观看| 九九精品无码专区免费| 99久久婷婷| 天综合中文| 九九九九日本 | www.AV有限公司一区| 亚洲猛交| 成 人片 黄色大片| 国产免费一区二区三区最新不卡| 色色色色色色色色综合| 97视频免费在线观看| 伊人影院综合是一个与深夜成人在线| 丝袜AV一二三区| 老司机午夜精品福利视频一区二区| 亚洲熟女综合一区二区| 日本欧美亚洲高清在线看| 91色艳| 今日头条成人一区二区三区四虎精品| 一二三区精品视频| 国产亚洲精品久久久久小| 成人三级片无码| 97se综合网| 91社区拍啪人妻| 91麻豆一二三区| 婷婷久久大香蕉| 中文字幕成人乱码熟女精品国50| 91美乳| 亚洲日韩美国人妻| 91熟女视频网| 97色诱| 欧美成人黄网色网站| 人妻插插人妻人| 婷婷性网| 熟妇人妻一区二区三区| 内射黑丝袜| 亚洲熟女乱综合一区二区三区| 久9无限国产| 小情侣高清国产在线视频| 裸体美女国产免费久久久网站| 伊人午夜福利视频| 国产精品毛片?v一区二区三区| 蜜臀少妇一区二区| 91日产桃蜜| 日韩成人性爱电影在线播放| 久久视频少妇美女| 欧美激情性爱视频网站| 91网亚洲| 肏逼视频日本| 久久精品视-一级做a爰片性色毛片16美国-中国女与老外在线精品 | 色香欲天天天天综合色| 一级片在线观看高清无码| 偷看洗澡一二三区美女| 亚洲色情在线影视| 成人性爱视频在线看| 青青草视频导航官网| 国产精品麻豆成人av| 嗯嗯嗯嗯啊啊啊好紧好大| 中文字幕制服诱惑| 色吧 综合| 在线观看一卡二卡| 一本大道青青| 996热| 九九九九免费视频| 激情五月综合开心五月| 国产精品午夜成人福利| 91在线视频国产网站| 超碰资源亚洲97| 久久国产成人精品国产成人亚洲| 九九热免费国产视频婷婷伊人五月 | 中文字幕一区二区视频在线观看| 校园春色制服丝袜中文字亚洲| 国产99999| 亚洲欲色9532548967一区| 欧美一二三| 色五月丁香五月| 久久熟女久| 精品人妻视频一区二区在线播放 | 久久婷婷苹果| 天天日天天爽| 中文字幕熟女人妻丝袜| 91红杏| 国产女同视频在线播放| 国产精品久久久九九九| 国产午夜无码片在线观看影视| 亚洲麻豆18发?| 一区在线观看中文字幕| 麻豆精品.欧美精品.日韩精品.| 中文字幕日韩综合| 国产1024在线播放| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 97亚洲在线| 77777亚洲蜜臀精品久久综合蜜臀| 亚洲本色精品一区二区久久| 精品国产72| 一本一道波多野毛片中文在线| 色臀aV| 五月丁香婷婷啪啪| 欧美日韩久久精品爱爱| 久久久工口| 2023天天操夜夜操| 97天天弄| 92午夜免费福利视频| 视频二区美腿制服人妻欧美| 少妇无码太爽| 一个色导综合| 福利五区| 人妻一区二区三区| 五月情色天| 97视频在| 成人av免费观看| 99久久久无码国产精品性啊聊| 久久日本熟女精品一区| 综合久久婷婷| 黄色操人| 青青草在线视频播放器| 夜夜高潮夜夜爽高清视频一 | 欧美丝袜中文字幕07在线| 亚洲国产综合久久天堂| 成年人三级黄色片视频| AV色女综合| 亚洲网自拍| 亚洲中文国际强奸字幕| 射久久| 无码人妻精品一区二区三区九九 | 99精品综合久久久久五月天| 久久久久久久久久久人妻| 国产精品美女在线一区| 91综合网在线| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 中文字幕亚洲热播人妻| 91天堂丝袜美腿| 欧美少妇一区二区三区| 久久一区二区三区入口| 亚洲人成网站7777| 一本色道久久综合狠狠操| 78p欧美| 日韩一级片| 免费无码婬片AAAA片直播色戒| www. 男人天堂成人在线| 成人贴图日韩欧美| 色欧洲| 校园春色中文字幕AV| 视频二区美腿丝袜制服人妻欧美| 久操网线| 波多野结衣之双飞调教在线播放 | 久久二| 五月天激情网站| 中文字幕在线观看第二页| 人人干黄色| 97网色| 亚洲综合影视| 国产精品午夜高潮呻吟久久av| 国产一二三在线视频五十路| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 日本道日本道中文字幕日本道最新日本道在线观看| 午夜天堂精品久久久久91| 无遮挡一级毛片视频免费的| 色色97爱| 人妻少妇无码| 免费的黄片有限公司| 国产丝袜啪啪| 伊人991| 青青操狠狠撩| 亚洲欧美日韩免费电影| 国产精品爆乳懂色蜜乳| 97Ai亚洲| 可乐操亚洲蜜911| 嗯嗯啊啊日韩精品| 欧美暴力猛交| 吖在线不卡一区二区国产剧情| 中文视频在线观看| 超碰综合97在线| 69久久久久久久久久久久久| 天天日少妇逼AV| 亚洲欧美日韩综合在线尤物| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 91 在线亚洲| 亚洲高清在线| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 91蜜桃传媒精品久久久一区二区| 91精品无码人妻系列| 国产成人99久久亚洲综合| 懂色Av| 操东北女人| 久这精品中文在线观看视频| 97久久久久| 国产2.3.4区| 婷婷探花久久精品一区| 97久久天天综合色天天综合色电影| 91天美传媒在线观看| 五月婷婷五月天| 这里只有精品视频在线| 国内自拍 日韩激情 99| 久久久久国产精品片区无码直播| 成人亚欧免费视频| 能在线播放的国产三级| 精品国产一区二区三区香蕉欧美| 人人操人人摸人人看人人插| 国产真实子伦对白| 亚洲色电影在线| 熟妇一区二区| 欧美日韩中文视频播放| 超碰2017| 97爱爱| 999国产精品999久久久久久| 日韩素人无码一区二区三区三州| 99re6久热只有精品6在线直播| 在现视频女上位好爽| 99热精品免费| 亚洲欧美一区二区三区一猛片| 亚洲一区操| 亚洲成人性| 黄色欧美性爱视频| 91粉嫩萝控精品福利网站_精品影音先锋国 | 在线黄页看毛片| 日韩伦理久 久久 清纯| 久久久久久久久九九久孕交| 久久99999| 欧美性综合| 超碰av人人人| 九九无码久久精品视频| 欧美亚州手机在线| 亚洲美欧999| 亚洲精品一区二区免费在线观看| 国产高清在线自在拍69| WWW美腿丝袜香蕉中文| av橘色网站| 99热这里只有精品18| 日韩熟女三十乱伦| 青草综合| 又大又长又粗又爽又黄| 日本熟女免费視颖| 五月丁香社区婷婷日韩欧美精品影院 | 中文激情网| 78综合网| 色天欧美| 噜噜噜噜久久久精品免费| 丰满人妻一区二区三区色-百度| 久久草草亚洲蜜桃臀| 被男人添B超爽视频| 亚洲蜜桃V妇女| 色99在线| 久久爽爽精品| 限制级中的三级片中的黑粗大屌屌日人妻熟女| 色97欧美| 精品久久无码午夜福利| 五月丁香社区婷婷日韩欧美精品影院| 思思热在线| 九九热五区| 熟妇一区,二区,三区。| 极品国产内射| 日本高清_区二区三区| 欧美日韩成人在线| 麻豆伊人网| 台湾佬激情综合| 秋霞男人网| 五月天人妻综合| 秋霞Av理论一级在线| 欧美熟女操屄| 久久久久久夜夜夜夜夜| 骚逼自拍99| 久久久999| 每日更新AV| 人人爱夜夜爱| 天天操天天干美女网址导航| 丰满人妻-区二区三区| 中文人妻av高清一区| 丁香六月啪| 欧美少妇性乱| 91劲爆| 天天影视综合色| 操婢日韩| 欧美很很操视频| ,国产乱人伦精品一区二区三区| 大香蕉综合| 国产美女高潮视频| 人妻啪| 亚洲综合小说另类图欧美视频激情小说色五月天 | 亚洲色图A| 激情抓乳插进去啪啪啪日韩| 五月婷婷激情综合| 男人天堂网手机版婷婷| 国产免费小视频| 双插性欧美一二三区| 少妇蜜汁| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 爆操无码| 97干天天| 欧美草草高清日韩视频| 欧美呦呦性爱| 男女一级A片大黄,一进一出| 熟女一区二区| 9久久精品| 熟女视频久久| 东京热不卡视频| 亚洲在线91| 中文激情网| 欧美少妇色综合| 黄页网站成人免费| 91老女人| 黄污污污污| 一卡二卡三卡| 成人午夜小视频手机在线看| 亚洲精品国产精品乱码不卡| 亚洲天堂少妇| 日韩激情中文字幕有码| 超碰97最新人妻| 欧美片第一页| 天天操女人| 999精品久久久久久久| 天天肏夜夜肏| 视频在线97| 91天天爽| 小说区 图片区色 综合区| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 91痴汉| 久久精视频美日韩在线视频| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 天天色怡春院| 亚洲婷婷丁香在线| 久久久久精| 久久久久久久久久久精| 国产人妖视频一区在线观看| 爱爱动态试试看6 0秒| 日本性感人妻91| 九九九九久久久| 欧美写真视频一区| 日韩999| 91M一社| 变态乱伦伪娘灌肠一区二区| 鸥美精品一区二区久久婷婷| 啪啪综合网| 欧美激情总合网| 亚洲图片小说欧洲| 欧美一级黄片免费播放| 我爱操| 色婷五月| 99热精品在线观看| 久久婷婷五月综合| 91国产丝袜美女| 性暴力欧美猛交在线直播| 久久一二三四不卡| 亚洲天堂中文字| 精人妻无码一区二区三区伊人直播| 国产亚洲精品美女久久久m| 97情超碰色| 亚洲国产激情国产av| 四虎AV在线播放| 日韩欧美女优电影| 丰满人妻aA一区二区三区| 大香蕉一级黄色片久久| 国产精品久久久久久夜夜夜| 自拍偷拍第26| 亚洲AO在线| 亚洲天堂中文字| 亚洲91极品| 91丨国产丨白浆秘 洗澡动漫| 蜜桃在线观看一区二区三区| 啪啪啪东京| 亚洲影视高清第一页| 国产一级片| 三上悠亚在线毛片91| 观看免费区二区三区二| 两女互慰AV高潮喷水在线观看| 手机不卡视频不卡在线一二三区| 久综合国内精品自在自线| 亚洲偷拍欧美激情| 婷婷视频网| 中文字幕丰满子伦无码专区在线视频最新 | 成人精品视频| 久热大香蕉| 久久国产乱子伦精品免费女,网站| 五月丁香啪啪网| 欧美中出| 亚洲日韩久久精品一区| 成人乱人伦一区二区| 91精品操美女| 天天色悠悠激情| 熟妇的味道HD中文字幕| 久久成人网站| 丁香六月天| 人人看人人插| 久久国产精品视频| 桃色五月天| av影片在线观看不卡| 中文字幕超碰CAO| 成片免费观看视频大全| 日本操逼视频在线| 伊人久久亚洲色欲综合网站| 久久久蜜桃一区二区三区| 草草影院最新网址| 国产农村妇女毛片精品久久| 国产白嫩精品久久| 午夜视频好爽啊| 亚洲成人ab| 国产精品suv一区| 国产麻豆福利av在线播放| 日韩啪啪视频| 天天综合色电影| 国产中文大片资源中文字幕| 少妇三p| 大肉棒导航| 亚洲天堂综合AV| 日欧亚洲二三区大片不卡| 78超碰| 青草园大香蕉| 久九干| 一区二区三区不卡视频| 大香蕉青青9| 91蜜桃婷婷狠狠久久综合9色| 久草尤物| 亚洲男人的天堂网| 九九热九九热| 中文字幕精品资源在线| 日韩字幕一区| 91久久久久| 天天综合网入口~91| 首页亚洲国产高跟丝袜诱惑视频 | 九九热超碰97亚洲最新香蕉| 久久久18| 亚洲1区2区三区高清中文字幕| 久久精品人妻一区| 蜜臀中文无码午夜| 夜精品久无码| 嗯啊啊啊轻点视频| 久久香蕉网| 无码国产精品久久久久| 涩综合导航| …亚洲黄色厕厕女女在线播…| 日韩欧美水蜜桃人妻| 久久美女福利是上海美女| 俄罗斯一区二区视频在线观看| 亚洲天堂资源网| 中文字幕日韩情色| 蜜臀久久久国产| 美女操逼A A| 亚洲精品久久久久久久蜜桃臀| 国产2.3.4区| 2017超碰| 99亚洲人人| 91五月天| 人妻精品一区二区在线| 丰满少妇一区二区三区免费看| 另类图片五月天| 亚洲自拍欧美色综合| 激情图片亚洲色图| 欧美日韩情色一区二区| 怡红院一区二区熟女人妻| 熟妇的味道HD中文字幕| 亚洲日韩人妻中文字幕一区| 国产精品乱码久久| 亚洲综合射| 夜夜骑天天燥| 欧美精品 - 91爱爱| 一本正道久久熟女| 欧美三级不卡| 蜜臀久久99精品久久久老,,| 91九色网| 黄aaaaaaaaaaaaaaaaaa色网站| 国产91精品福利在线| 欧美一区二区一级岛国大片| 人妻一区二区三区熟女| 夜夜国自区| 天天日天天屌天天操| 精品无码一二三四区| 丝袜狠狠草尤物人妻av91| 老女人爆菊| 精品久久久九九九孕妇| 亚洲欧美色图小说| 欧美精品69性爱| 亚洲日韩电影| 九九AV| 激情综合网亚洲| 九九九免费视频| 中文字幕一区二区三区人妻不卡 | 奇米四色网| 99re免费视频精品全部| 综合第一页| 国产女人视频三四五区| 亚洲高清91| 99热在线播放| 欧美性夜| 97干在线| 1769一区| 操操吧亚洲乱伦视频| 小说区 图片区色 综合区| 大二网站亚洲| 370p日韩欧美亚洲精品| av无码av无码专区| www.91人妻.com| 一起草日韩| 亞洲久久直播| 高清在线偷拍自拍视频| 97精品综合| 国产最火爆久久国产网站网站| 国产高清午夜成人在线观看| 97久久网| 亚洲欧洲日本精品中文a∨| 欧美激情久操网| 日夜精品| 国产粉嫩蜜臀av一区二区三区 | 一区二区三区蜜桃成人撸久久东京热 | 中文字幕天堂在线| 狠狠操官网| 樱花蜜乳av| 日本免费一级AAA大片器 | 欧美日韩色综合网| 凸凹视频在线观看| 亚洲AV永久无码一区仙野| 蜜臀久久一区二区| 中文97国产| 婷婷综合在线观看| 欧美亚州色的图| 国产成人主播| 人妻 欧美 中文| 偷拍99| 亚洲男人天堂2| 91丝袜美女视频| 欧美高清色| 国产美女销魂在线观看不卡| 国产尤物AV尤物在线观看不卡| 日本三级韩三级99久久| 校园春色制服丝袜中文字亚洲| 精品国产72| 欧亚韩国999| 中文字幕第二页| 中文字幕熟女人妻丝袜| 亚洲综合另类小说色区亚洲成av人片在www| 在线精品福利免费播放| 久7色| 天天天天天天天天综合| 亚洲AV在线资源| 日韩人人精品| 国产色产精品在线观看| 色官网色综合| 天天影视综合网欧美精品| 色999五月色| 亚洲欧洲国产综合av| 国模吧 一区二区三区| 人妻激情另类| 欧美日韩另类字幕中文| 激情五月天校园春色网| 美女主播色欲91抠b在线播放| 亚洲色图8| 国产一区二区免费福利片| 国产超碰| 天天看片天天爽| 久草久日| 射久久| 亚洲五码一区二区三区| 婷婷五月天成人| 淫乱图区 | 97人人夜夜精品视频| 国模艳艳啪啪一区| 丁香六月啪| 亚洲av热热色| 九九久精品| 国产午夜在线观看视频| 亚洲第一综合| A男人的天堂| 亚洲日韩乱码中文无码蜜桃臀网站 | 中文字幕一区二区三区高清| 99精品无码| 天天舔九色婷婷| 91天天综合日韩欧美| 少妇干B| 天天操天天舔| 亚洲天堂人人妻| 免费成人自拍视频在线| 午夜无码精品免费看性色| 夜夜肏2021| 久久成人精品| 天天操夜夜操狠很操| 久草久热| 久久久一区二区三区麻豆| 欧美日韩国产黄色片| 久久国产精品91| 国产一区二区在线看| 丰满岳乱妇一区二区三区| 青青草原狼av| 熟人人妻少妇精品久久| 95自拍视频在线观看| 67914在线精品观看| 蜜臀99久久国产| 亚洲欧美国产成人综合不卡| 日韩欧美丝袜诱惑| 91亚洲人| 亚洲aV无码成人在线观看| 欧美熟女丝袜| 亚洲日本激情| 四虎AV无码| 黑人猛交| 色婷婷狠狠18禁| 欧美在线干| 综合激情二| 噜噜在线| 91热| 福利在线观看一区二区| 2017大香蕉国产精品久久| 久久亚洲中文字幕视频| 五月天激情小说| 欧美在线电影| 欧美黄片视频在线观看免费 | 嫩草 我啊~嗯~在线| 日本熟女不卡视频| 天天流夜夜操| 日韩欧美女求操每天更新| 免费看A片毛毛片在线播| 另类av天堂| 亚洲色欧美| 超碰日本97美女人妻人人玩人人爱| 欧美在线亚洲| av一区二区三区 中文| 天操天操夜操夜月月年年操操| 岛国在线一区二区三区| 亚洲精品一卡二卡三卡福利视频网站| 久久伊人亚洲AV无码网站| 人妻无码后入| 精品人成视频在线观看| 中出91| 国产精品一区二区三区免费视频| 99熟女| 色悠久久久av| 欧美专区日本专区| 久久精品91| 九九亚洲视频| 国产精品欧美在线观看| 操久久久久久| 亚洲毛片基地专区| 综合日本女人伊人| 中国一级αV| 国产精品熟女AV中文字幕在线播放| 久久久999国产| 激情五月天综合网| 97精| 乱理日韩中文| 国产中出内射一区二区| 中文字幕在线观看网页| 国产极品精品美女视频|