久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

基于DQN的導(dǎo)彈目標(biāo)選擇:從MDP建模到PyTorch實(shí)現(xiàn)與調(diào)參避坑

基于DQN的導(dǎo)彈目標(biāo)選擇:從MDP建模到PyTorch實(shí)現(xiàn)與調(diào)參避坑 簡(jiǎn)介本資源面向計(jì)算機(jī)、自動(dòng)化等專業(yè)的學(xué)生與開發(fā)者提供基于Python與DQN強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)海防場(chǎng)景導(dǎo)彈目標(biāo)選擇任務(wù)的完整項(xiàng)目方案適用于畢業(yè)設(shè)計(jì)、課程設(shè)計(jì)及項(xiàng)目開發(fā)參考。任務(wù)中敵方艦艇以固定陣型排列我方18枚導(dǎo)彈需依次選擇攻擊目標(biāo)并沿直線軌跡飛行進(jìn)入防御艦艇防御半徑后存在被攔截概率艦艇被命中一定次數(shù)后死亡且可通過調(diào)整不同艦艇價(jià)值改變攻擊側(cè)重點(diǎn)核心在于合理規(guī)劃攻擊目標(biāo)與順序以實(shí)現(xiàn)期望傷害最大化。資源包共474個(gè)文件約80.7MB包含15個(gè)Python源碼文件、108組模型checkpoint與data分片、6個(gè)yml配置、2張png示意圖、1個(gè)mp4演示視頻及md項(xiàng)目文檔覆蓋訓(xùn)練權(quán)重、配置與說(shuō)明材料。已有40人學(xué)習(xí)下載讀者可獲取可運(yùn)行源碼、算法解析文檔與演示視頻并在此基礎(chǔ)上延伸改造。1. 導(dǎo)彈目標(biāo)選擇任務(wù)為什么適合用 DQN 入門強(qiáng)化學(xué)習(xí)導(dǎo)彈目標(biāo)選擇本質(zhì)是在多目標(biāo)、多威脅、多約束的戰(zhàn)場(chǎng)態(tài)勢(shì)里讓導(dǎo)彈在飛行中動(dòng)態(tài)決定“打誰(shuí)、先打誰(shuí)、要不要換目標(biāo)”。傳統(tǒng)做法是寫死優(yōu)先級(jí)規(guī)則比如“先打距離最近”或“先打威脅值最高”但真實(shí)場(chǎng)景里目標(biāo)會(huì)機(jī)動(dòng)、威脅會(huì)變化、攔截概率會(huì)波動(dòng)規(guī)則一多就互相打架。DQNDeep Q-Network把這件事建模成序貫決策狀態(tài)是當(dāng)前態(tài)勢(shì)動(dòng)作是選擇某個(gè)目標(biāo)獎(jiǎng)勵(lì)綜合命中概率、威脅削減和資源消耗讓網(wǎng)絡(luò)自己學(xué)出策略。Python 生態(tài)里 PyTorch 或 TensorFlow 都能快速搭出可訓(xùn)練的 DQN配合仿真環(huán)境就能跑通從環(huán)境封裝、經(jīng)驗(yàn)回放到目標(biāo)網(wǎng)絡(luò)更新的完整鏈路。這套東西適合畢業(yè)設(shè)計(jì)、課程設(shè)計(jì)里需要“有算法、有代碼、有可視化”的題目也適合想從零理解強(qiáng)化學(xué)習(xí)落地流程的開發(fā)者——它比打游戲更貼近工程約束又比真實(shí)火控系統(tǒng)簡(jiǎn)單到能在一臺(tái)筆記本上復(fù)現(xiàn)。2. 把導(dǎo)彈目標(biāo)選擇建模成 MDP狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)怎么定2.1 狀態(tài)空間設(shè)計(jì)別把原始坐標(biāo)直接塞給網(wǎng)絡(luò)狀態(tài)設(shè)計(jì)是 DQN 能不能收斂的第一道坎。常見做法是把每個(gè)目標(biāo)的信息整理成固定長(zhǎng)度的向量再拼上導(dǎo)彈自身狀態(tài)。假設(shè)場(chǎng)景里有 N 個(gè)目標(biāo)每個(gè)目標(biāo)提取 6 個(gè)特征相對(duì)距離、相對(duì)方位角、相對(duì)速度、威脅等級(jí)、目標(biāo)類型編碼、是否已被分配。導(dǎo)彈自身狀態(tài)包括剩余燃料、當(dāng)前速度、當(dāng)前高度。這樣狀態(tài)維度就是6 * N 3。如果 N 會(huì)變化要么固定最大目標(biāo)數(shù)并用掩碼標(biāo)記無(wú)效目標(biāo)要么用注意力機(jī)制但入門階段建議固定 N比如 N5先把流程跑通。import numpy as np def build_state(missile, targets, max_targets5): missile: dict, 包含 fuel, speed, altitude targets: list of dict, 每個(gè)目標(biāo)含 dist, angle, rel_speed, threat, type_id, assigned 返回: np.array, shape (6 * max_targets 3,) state [] for i in range(max_targets): if i len(targets): t targets[i] state.extend([ t[dist] / 10000.0, # 歸一化到 0~1 附近 t[angle] / np.pi, # 角度歸一化 t[rel_speed] / 1000.0, t[threat] / 10.0, t[type_id] / 5.0, 1.0 if t[assigned] else 0.0 ]) else: state.extend([0.0] * 6) # 無(wú)效目標(biāo)補(bǔ)零 state.extend([ missile[fuel] / 100.0, missile[speed] / 2000.0, missile[altitude] / 15000.0 ]) return np.array(state, dtypenp.float32)這段代碼的關(guān)鍵是歸一化。距離除以 10000、速度除以 1000 這類操作不是可選項(xiàng)而是必須做——DQN 對(duì)輸入尺度敏感未歸一化的特征會(huì)讓梯度更新方向被大數(shù)值主導(dǎo)表現(xiàn)為 loss 震蕩不降。assigned字段用來(lái)標(biāo)記該目標(biāo)是否已經(jīng)被其他導(dǎo)彈鎖定避免多彈重復(fù)打同一個(gè)目標(biāo)這是多導(dǎo)彈協(xié)同里常見的約束。如果目標(biāo)數(shù)少于 max_targets補(bǔ)零并配合動(dòng)作掩碼防止網(wǎng)絡(luò)選到無(wú)效目標(biāo)。2.2 動(dòng)作空間與獎(jiǎng)勵(lì)函數(shù)稀疏獎(jiǎng)勵(lì)是最大的坑動(dòng)作空間最直接的設(shè)計(jì)是離散化動(dòng)作 選擇第 i 個(gè)目標(biāo)i 從 0 到 N-1再加上一個(gè)“保持當(dāng)前目標(biāo)”的動(dòng)作總共 N1 個(gè)離散動(dòng)作。這樣 DQN 的輸出層就是 N1 個(gè) Q 值取 argmax 即可。不要一上來(lái)就做連續(xù)動(dòng)作空間那需要 DDPG 或 SAC復(fù)雜度翻倍畢業(yè)設(shè)計(jì)周期內(nèi)很難調(diào)穩(wěn)。獎(jiǎng)勵(lì)函數(shù)決定策略長(zhǎng)什么樣。一個(gè)可用的獎(jiǎng)勵(lì)結(jié)構(gòu)是命中目標(biāo)100同時(shí)按目標(biāo)威脅值加成比如100 threat * 10導(dǎo)彈被攔截或燃料耗盡-50每步時(shí)間懲罰-0.1鼓勵(lì)盡快決策切換目標(biāo)懲罰-1避免頻繁換目標(biāo)導(dǎo)致震蕩選中已分配目標(biāo)-5懲罰重復(fù)分配def compute_reward(missile, target, done, hit, fuel_out, switched, already_assigned): reward -0.1 # 每步基礎(chǔ)懲罰 if hit: reward 100 target[threat] * 10 if fuel_out: reward - 50 if switched: reward - 1 if already_assigned: reward - 5 return reward血淚經(jīng)驗(yàn)是稀疏獎(jiǎng)勵(lì)下 DQN 幾乎學(xué)不動(dòng)。如果只有命中才給獎(jiǎng)勵(lì)前期隨機(jī)探索很難碰到命中Q 值長(zhǎng)期為 0網(wǎng)絡(luò)輸出退化為常數(shù)。解決辦法是加中間獎(jiǎng)勵(lì)比如“距離縮短”給小額正獎(jiǎng)勵(lì)“威脅值降低”也給正獎(jiǎng)勵(lì)讓 agent 有梯度可爬。但中間獎(jiǎng)勵(lì)不能太大否則 agent 會(huì)刷獎(jiǎng)勵(lì)而不去命中這就是 reward hacking。我一般把中間獎(jiǎng)勵(lì)控制在每步 ±0.5 以內(nèi)命中獎(jiǎng)勵(lì)保持 100 量級(jí)比例大約 200:1。3. 用 PyTorch 搭 DQN網(wǎng)絡(luò)結(jié)構(gòu)、經(jīng)驗(yàn)回放和目標(biāo)網(wǎng)絡(luò)3.1 Q 網(wǎng)絡(luò)結(jié)構(gòu)兩層全連接夠用別堆太深導(dǎo)彈目標(biāo)選擇的狀態(tài)維度通常在 30 到 50 之間動(dòng)作數(shù)在 6 到 10 之間這種規(guī)模用兩層 128 維全連接加 ReLU 就足夠。層數(shù)太深反而容易過擬合訓(xùn)練慢且難調(diào)。輸出層不加激活函數(shù)直接輸出 Q 值。import torch import torch.nn as nn class QNetwork(nn.Module): def __init__(self, state_dim, action_dim, hidden128): super().__init__() self.net nn.Sequential( nn.Linear(state_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, action_dim) ) def forward(self, x): return self.net(x)state_dim由上一章的6 * max_targets 3決定action_dim是max_targets 1。hidden 取 128 是經(jīng)驗(yàn)值64 可能欠擬合256 在幾千條經(jīng)驗(yàn)的數(shù)據(jù)量下容易過擬合。如果訓(xùn)練 loss 下降但評(píng)估回報(bào)不漲優(yōu)先檢查是不是網(wǎng)絡(luò)太大記住了訓(xùn)練樣本。3.2 經(jīng)驗(yàn)回放與目標(biāo)網(wǎng)絡(luò)兩個(gè)穩(wěn)定訓(xùn)練的關(guān)鍵組件DQN 相比普通 Q-learning 的核心改進(jìn)就是經(jīng)驗(yàn)回放和目標(biāo)網(wǎng)絡(luò)。經(jīng)驗(yàn)回放把(state, action, reward, next_state, done)存進(jìn)緩沖區(qū)訓(xùn)練時(shí)隨機(jī)采樣打破時(shí)間相關(guān)性。目標(biāo)網(wǎng)絡(luò)是 Q 網(wǎng)絡(luò)的副本每隔 C 步同步一次參數(shù)用來(lái)計(jì)算 TD 目標(biāo)避免“自己追自己”導(dǎo)致發(fā)散。import random from collections import deque class ReplayBuffer: def __init__(self, capacity10000): self.buffer deque(maxlencapacity) def push(self, state, action, reward, next_state, done): self.buffer.append((state, action, reward, next_state, done)) def sample(self, batch_size): batch random.sample(self.buffer, batch_size) states, actions, rewards, next_states, dones zip(*batch) return (np.stack(states), np.array(actions), np.array(rewards, dtypenp.float32), np.stack(next_states), np.array(dones, dtypenp.float32)) def __len__(self): return len(self.buffer)容量設(shè) 10000 到 50000 都常見。太小則樣本重復(fù)率高容易過擬合近期經(jīng)驗(yàn)太大則早期差經(jīng)驗(yàn)長(zhǎng)期污染緩沖區(qū)。我一般從 10000 起步訓(xùn)練穩(wěn)定后如果發(fā)現(xiàn)策略退化再考慮減小容量或加優(yōu)先級(jí)采樣。目標(biāo)網(wǎng)絡(luò)同步步數(shù) C 通常取 100 到 500環(huán)境步數(shù)多就取大一點(diǎn)。同步太頻繁等于沒有目標(biāo)網(wǎng)絡(luò)同步太慢則目標(biāo)滯后嚴(yán)重TD 誤差長(zhǎng)期偏大。3.3 訓(xùn)練循環(huán)epsilon 衰減和梯度裁剪訓(xùn)練循環(huán)里兩個(gè)參數(shù)最影響成敗epsilon 衰減和梯度裁剪。epsilon 控制探索率從 1.0 線性或指數(shù)衰減到 0.05 左右。衰減太快則探索不足策略早熟衰減太慢則訓(xùn)練前期大量隨機(jī)動(dòng)作收斂慢。梯度裁剪用torch.nn.utils.clip_grad_norm_限制梯度范數(shù)防止個(gè)別 batch 的 TD 誤差過大把網(wǎng)絡(luò)打飛。def train_step(q_net, target_net, optimizer, buffer, batch_size, gamma): if len(buffer) batch_size: return None states, actions, rewards, next_states, dones buffer.sample(batch_size) states torch.FloatTensor(states) actions torch.LongTensor(actions) rewards torch.FloatTensor(rewards) next_states torch.FloatTensor(next_states) dones torch.FloatTensor(dones) q_values q_net(states).gather(1, actions.unsqueeze(1)).squeeze(1) with torch.no_grad(): next_q target_net(next_states).max(1)[0] target rewards gamma * next_q * (1 - dones) loss nn.MSELoss()(q_values, target) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(q_net.parameters(), max_norm10.0) optimizer.step() return loss.item()gamma取 0.95 到 0.99。導(dǎo)彈目標(biāo)選擇是回合制任務(wù)一個(gè)回合可能幾十步gamma 取 0.95 意味著約 20 步外的獎(jiǎng)勵(lì)衰減到一半比較合理。max_norm10.0是常用值如果 loss 出現(xiàn) NaN先降到 1.0 試試。訓(xùn)練時(shí)每 C 步執(zhí)行target_net.load_state_dict(q_net.state_dict())C 取 200 左右。4. 仿真環(huán)境搭建與訓(xùn)練調(diào)參從零跑通第一個(gè)回合4.1 用 Gym 風(fēng)格封裝環(huán)境reset 和 step 的邊界為了復(fù)用 DQN 訓(xùn)練代碼環(huán)境最好按 Gym 接口封裝reset()返回初始狀態(tài)step(action)返回(next_state, reward, done, info)。導(dǎo)彈目標(biāo)選擇的仿真不需要真實(shí)物理引擎用簡(jiǎn)化的運(yùn)動(dòng)學(xué)模型即可目標(biāo)按預(yù)設(shè)軌跡移動(dòng)導(dǎo)彈按當(dāng)前目標(biāo)方向飛行每步更新距離和角度。class MissileEnv: def __init__(self, max_targets5, max_steps100): self.max_targets max_targets self.max_steps max_steps self.reset() def reset(self): self.step_count 0 self.missile {fuel: 100.0, speed: 800.0, altitude: 8000.0} self.targets [self._random_target() for _ in range(self.max_targets)] self.current_target None return build_state(self.missile, self.targets, self.max_targets) def step(self, action): self.step_count 1 switched False if action self.max_targets: if self.current_target ! action: switched True self.current_target action # 簡(jiǎn)化運(yùn)動(dòng)學(xué)更新 self.missile[fuel] - 0.5 for t in self.targets: t[dist] - self.missile[speed] * 0.1 hit any(t[dist] 0 for t in self.targets) fuel_out self.missile[fuel] 0 done hit or fuel_out or self.step_count self.max_steps reward compute_reward(self.missile, self.targets[0], done, hit, fuel_out, switched, False) next_state build_state(self.missile, self.targets, self.max_targets) return next_state, reward, done, {}max_steps100是回合上限防止 agent 無(wú)限繞圈。fuel每步減 0.5100 步耗盡和 max_steps 對(duì)齊。目標(biāo)距離每步減speed * 0.1這是把速度單位換算成“每步飛行距離”的簡(jiǎn)化。真實(shí)項(xiàng)目里可以用更細(xì)的積分步長(zhǎng)但入門階段這個(gè)精度足夠驗(yàn)證算法。注意done的判斷順序先判命中再判燃料最后判步數(shù)避免命中時(shí)被步數(shù)截?cái)唷?.2 超參數(shù)表與訓(xùn)練曲線判讀下面這張表是我調(diào)過幾輪后比較穩(wěn)的起點(diǎn)不是唯一解但能讓你第一輪就跑出下降的 loss 和上升的回報(bào)。參數(shù)取值說(shuō)明學(xué)習(xí)率1e-3Adam 優(yōu)化器太大易震蕩太小收斂慢batch_size64經(jīng)驗(yàn)回放采樣批量gamma0.95折扣因子回合約 100 步epsilon 起始1.0完全隨機(jī)探索epsilon 終止0.05保留少量探索epsilon 衰減步數(shù)5000線性衰減目標(biāo)網(wǎng)絡(luò)同步每 200 步硬更新回放緩沖區(qū)10000經(jīng)驗(yàn)容量梯度裁剪10.0范數(shù)上限訓(xùn)練曲線判讀有幾個(gè)典型模式。Loss 持續(xù)下降但評(píng)估回報(bào)不漲多半是過擬合或獎(jiǎng)勵(lì)設(shè)計(jì)有問題。Loss 震蕩劇烈檢查學(xué)習(xí)率是否太大或 batch_size 是否太小。回報(bào)曲線先升后降常見于 epsilon 衰減太快導(dǎo)致策略早熟或者目標(biāo)網(wǎng)絡(luò)同步太頻繁。我一般每 100 回合跑一次評(píng)估評(píng)估時(shí) epsilon 設(shè)為 0看純貪心策略的表現(xiàn)避免探索噪聲干擾判斷。5. 避坑與排查導(dǎo)彈目標(biāo)選擇 DQN 訓(xùn)練中最容易翻車的 5 個(gè)點(diǎn)5.1 現(xiàn)象Q 值爆炸成 NaNloss 直接變 inf原因通常是獎(jiǎng)勵(lì)量級(jí)過大或梯度未裁剪。命中獎(jiǎng)勵(lì) 100 加上威脅加成可能到 200TD 目標(biāo)里reward gamma * max Q在 Q 值本身已經(jīng)偏大時(shí)進(jìn)一步放大幾輪更新后超出浮點(diǎn)范圍。解決方法是先把獎(jiǎng)勵(lì)整體除以 100讓命中獎(jiǎng)勵(lì)回到 1 量級(jí)同時(shí)確認(rèn)clip_grad_norm_已啟用且 max_norm 不超過 10。如果仍然 NaN把學(xué)習(xí)率降到 1e-4 再試。5.2 現(xiàn)象agent 學(xué)會(huì)原地不動(dòng)或反復(fù)選同一個(gè)目標(biāo)這是 reward hacking 的典型表現(xiàn)。如果“保持當(dāng)前目標(biāo)”有隱性正獎(jiǎng)勵(lì)或者切換懲罰過大agent 會(huì)發(fā)現(xiàn)不動(dòng)最安全。檢查獎(jiǎng)勵(lì)函數(shù)里是否有未預(yù)期的正項(xiàng)比如距離縮短獎(jiǎng)勵(lì)在目標(biāo)不動(dòng)時(shí)也持續(xù)給。解決辦法是給“保持當(dāng)前目標(biāo)”加微小時(shí)間懲罰或者把切換懲罰從 -1 降到 -0.2讓 agent 有動(dòng)力重新評(píng)估。5.3 現(xiàn)象訓(xùn)練回報(bào)波動(dòng)極大同一策略兩次評(píng)估差一倍多半是環(huán)境隨機(jī)性太強(qiáng)或評(píng)估回合數(shù)太少。目標(biāo)初始位置、速度如果每次 reset 都大幅隨機(jī)策略很難穩(wěn)定。把隨機(jī)范圍收窄比如距離在 5000 到 10000 之間而不是 1000 到 20000。評(píng)估時(shí)至少跑 20 個(gè)回合取平均單回合結(jié)果沒有參考價(jià)值。另外檢查回放緩沖區(qū)是否太小導(dǎo)致采樣方差大。5.4 現(xiàn)象loss 正常下降但 agent 從不命中目標(biāo)這是稀疏獎(jiǎng)勵(lì)下探索不足的經(jīng)典問題。epsilon 衰減太快agent 還沒碰到過命中就進(jìn)入利用階段Q 網(wǎng)絡(luò)對(duì)命中動(dòng)作的估值始終是隨機(jī)初始值。解決辦法是延長(zhǎng) epsilon 衰減步數(shù)到 10000 以上或者加中間獎(jiǎng)勵(lì)引導(dǎo)。另一個(gè)檢查點(diǎn)是動(dòng)作掩碼如果無(wú)效目標(biāo)的 Q 值沒有被屏蔽agent 可能一直選無(wú)效動(dòng)作表現(xiàn)為“不命中也不報(bào)錯(cuò)”。5.5 現(xiàn)象換一臺(tái)機(jī)器或換隨機(jī)種子后結(jié)果完全不可復(fù)現(xiàn)DQN 對(duì)隨機(jī)種子敏感是常態(tài)。要復(fù)現(xiàn)結(jié)果需要固定 Python 的random.seed、NumPy 的np.random.seed、PyTorch 的torch.manual_seed還要設(shè)置torch.backends.cudnn.deterministic True。但即使這樣不同 GPU 上的浮點(diǎn)運(yùn)算順序差異仍可能導(dǎo)致微小偏差進(jìn)而影響策略。我的習(xí)慣是報(bào)告結(jié)果時(shí)跑 3 個(gè)不同種子取均值和標(biāo)準(zhǔn)差而不是只報(bào)最好的一次。6. 進(jìn)階技巧用動(dòng)作掩碼和優(yōu)先經(jīng)驗(yàn)回放把命中率再提一檔動(dòng)作掩碼解決的是“無(wú)效動(dòng)作被高估”的問題。在導(dǎo)彈目標(biāo)選擇里已經(jīng)被分配的目標(biāo)、距離超出射程的目標(biāo)、燃料不足以到達(dá)的目標(biāo)都應(yīng)該在動(dòng)作選擇時(shí)屏蔽。實(shí)現(xiàn)方式是在 Q 網(wǎng)絡(luò)輸出后把無(wú)效動(dòng)作的 Q 值設(shè)為一個(gè)極小值再取 argmax。訓(xùn)練時(shí)計(jì)算 TD 目標(biāo)也要用掩碼后的 next Q否則目標(biāo)網(wǎng)絡(luò)會(huì)把無(wú)效動(dòng)作的估值傳播回來(lái)。def masked_q_values(q_values, valid_mask): q_values: tensor, shape (batch, action_dim) valid_mask: tensor, 1 表示有效, 0 表示無(wú)效 invalid_mask (valid_mask 0) q_values q_values.masked_fill(invalid_mask, -1e9) return q_values # 訓(xùn)練時(shí)計(jì)算 next_q with torch.no_grad(): next_q_all target_net(next_states) next_q_all masked_q_values(next_q_all, next_valid_masks) next_q next_q_all.max(1)[0]-1e9而不是-inf避免后續(xù)計(jì)算出現(xiàn) NaN。valid_mask 的構(gòu)造邏輯是目標(biāo)存在且未被分配且距離在射程內(nèi)則為 1否則為 0。這個(gè)掩碼在環(huán)境 step 里生成隨狀態(tài)一起返回。優(yōu)先經(jīng)驗(yàn)回放Prioritized Experience Replay讓 TD 誤差大的樣本被采樣概率更高。實(shí)現(xiàn)上可以用 SumTree 或者簡(jiǎn)化版給每個(gè)樣本存一個(gè)優(yōu)先級(jí)p |TD error| epsilon采樣時(shí)按 p 歸一化后的概率抽。簡(jiǎn)化版用 NumPy 的np.random.choice配合p數(shù)組即可不用手寫 SumTree。優(yōu)先級(jí)參數(shù) alpha 取 0.6重要性采樣權(quán)重 beta 從 0.4 線性升到 1.0。這套組合在導(dǎo)彈目標(biāo)選擇任務(wù)里通常能把命中率從 60% 左右提到 80% 以上但訓(xùn)練時(shí)間會(huì)增加約 30%。驗(yàn)證改進(jìn)是否有效不能只看訓(xùn)練回報(bào)。我一般固定 50 個(gè)測(cè)試場(chǎng)景每個(gè)場(chǎng)景跑 10 次取平均命中率和平均決策步數(shù)對(duì)比加掩碼前后、加優(yōu)先回放前后的數(shù)值。如果命中率提升但決策步數(shù)大幅增加說(shuō)明 agent 在猶豫需要檢查時(shí)間懲罰是否太小。最后說(shuō)個(gè)習(xí)慣每次改獎(jiǎng)勵(lì)函數(shù)或網(wǎng)絡(luò)結(jié)構(gòu)只改一個(gè)變量跑完對(duì)比再改下一個(gè)。同時(shí)改三四個(gè)地方結(jié)果好了也不知道是哪個(gè)起作用結(jié)果差了更不知道回退哪個(gè)。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
一二三四日本视频高清| 99热国产| 97色伦97色伦国产欧美| 999热日韩精品| 欧美色三级片91| 26uuu偷拍亚洲欧洲综合| 亚洲影视第一页| 青青国产精品在线| 丁香六月激情综合| 精品黑人一区二区| 狠狠色伊人亚洲综合网站色| 亚洲性高潮| 99精品丰满人妻无码| 久久大香蕉手机高清| 国产色精品午夜大片| 成 人 A V免费视频在线观看| 国产自啪精品视频网站黑丝| 98福利在线视频| 免费看美国人人爽,人人操| 亚洲国产欧美中文永久| 日韩探花精品在线视频| 精品亚洲国产成人AV制服丝袜| 色视频蜜乳| 久久午夜色播影院免费高清| 51久久夜色精品国产麻豆| 久久超碰网| 久久久久久久久久久久97| 国产精品3| 欧洲精品久久| 操一操摸一摸| 亚洲麻豆av一区二区| 日日夜夜骑| www. 男人天堂成人在线| 九九热免费在线国产视频伊人五月| 久久久97| 天天爱天天操| 中文幕97| 91少妇通奸网站| 97超碰这里只有精品| 伊人精品视频| 欧美高潮| 欧美天天弄| 91老司机精品| av网站免费看| 久久国产在线一区二区| 国产九九九九九九九九| 国产日韩欧美三级片| 黄色性爱网网| 熟女丰满人妻一区| 美女91在线观看| 精品十三区| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 麻豆这里只有精品| 精品一区二区三区四区女| 台湾大香蕉99热| 国产精品久久久久久久久久久久久久久久| 欧洲大香蕉| 91美女高潮| 夜夜黄| 天天夜夜rb| 大香蕉中文在线| 好吊色综合| 思思热在线视频免费| 一级日本牲交大片好爽在线看| 色成人Www精品永久观看| 欧亚性爱视频免费看| 中文字幕日本久久| 青青草在线成人视频| 日韩AV色图| 欧美日韩另类字幕中文| 9国产超碰| 五月婷婷五月天| 欧州色图区| 91中文精品日韩欧美在线 | 大香蕉视频一二三区| 久久亚洲欧美中文字幕国语 | 天天日天天干天天摸天天操| 亚洲精品性爱片| 99热这里只有精品地址| 日韩精品人妻中文字有码在线 | 国产不良强奸视频免费看| 99热99在线播放激情| 五月天色五月| 久久宗合亚洲| 久久超碰国产一区二区三区| 五月婷婷色| 黄久在线| 亚洲成aⅴ人片不卡无码| 国产乱码精品一区二区三区四川| 无码欧美有限公司| 欧美丝袜91| 樱花蜜乳av| 亚洲成人综合在线| 亚洲色综网| 2019精品国产无码成人| 青青草十区九区爱夜| 蜜汁欧美| 免费一级视频特黄色大片| 色婷婷成人综合| 97超碰中文在线| 久久久久久精品免费看A级| 国产精品制服丝袜中文字幕日韩一区二区三区 | 97精品97| 成人一级性爱| www.99热在线只有精品| 小说区 图片区色 综合区| 久久精品国产亚洲AV片多多| 中文字幕第二页| 亚洲国产午夜真人一级片中文字幕精品黄网站 | 99热色这里只有精品| 久久久三区二区一区| 丰满人妻无码一区二区三区| 夜夜嗨绯色| 东北毛片| 日韩不卡网操逼中文字幕日韩| 91社区伊人| 超91综合网| 天天干人人乐| 超碰久久中文| 精品人妻1区| 一区二区三区蜜桃成人撸久久东京热| 亚瑟国产精品久久无码| 黑人在线91| 超碰AV在线| 欧美日韩亚洲少妇寂寞影院正在播放| 亚洲人妻av| 日日骚av| 97久久精品亚洲| 91亚洲情色| 大奶啊啊好爽| 天堂v无码免费视频| 99超碰色| 日韩成人在线性爱视频| 高清肉丝中文无码| 青青草天天亲夜夜操网| 天天干18禁| 人人操av| 国产日韩手机视频在线| 欧美,亚洲,日韩,v,天堂,手机在线观看| 操逼逼福利视频| 99999这里都精品| 伊人成人中文字幕久久网| 青青草中文字幕| 综合久草| 天堂中文日本在线观看| 少妇一区二区三区| 欧美色图自拍| 久久婷婷一区二| 亚洲国产丝袜熟女av| 伊人精品视频| 色999五月色| 无码国产精品96久久久久孕妇| 91色综合激情| 日本 欧美 国产一区| 热热色91| 日韩 女同 综合| 狠狠操狠狠| 久久欲| 女人18精品一区二区三区| 久操大香蕉手机视频在线看| 国产男女边吃边摸视频网站| 天天欧美| 欧美日韩亚洲五月天婷婷| 超碰成人国产| 国产亚洲日韩欧| 大香蕉日韩| 美女久久久久久久| 日本天天色| 国产女同视频在线播放| 性91| 精品少妇一区二区| 中文字幕超碰CAO| 欧美成人精品A片免费一区99| ,成人免费啪啪视频| 东京热综合久久一区二区| 老汉网| 国产欧美伊人| 色婷五月| 强免费黄色网址| 亚洲国产精品V?在线播放| 99热这里只有精品1| 天美传媒Av在线| 欧美性猛交美女自慰91| 自偷自拍的亚洲视频| 欧美爱三级日韩久久| 欧美综合色,www| 色五月AV在线| 欧美熟女丝袜| 午夜后入| 久久精品72| 天天综合AV| 性爱1区| 亚洲天堂中文字| 中文字幕在线观看网址| 欧美少妇人妻| 躁躁躁日日躁2020| 女人香蕉久久毛毛片精品| 久久熟女久| 97视频在| 最新中文字幕av| 欧美激情 日韩精品| 91oumei| 欧美.亚洲.另类.丝袜.制服.诱惑| 99久久久久| 91精品黄在线观看| 精品夜夜澡人妻无码| 婷婷99狠狠躁天天躁| 凹凸视频特色日本特黄| 熟女啪啪视频| 国产一级久久久| 大香蕉在线86| 精品二999| 加勒比少妇AV婷婷六月天超碰超碰| 欧美日韩国产电影| 夜夜操一区二区| 欧美日韩国产电影| 亚洲清纯唯美| 97神马久久| 九九九精品美女| 一二三区精品视频| 又大又大又大又粗爽高潮观看 | 天天色悠悠激情| 性色高清在线| 91超碰碰在线| 精品人妻免费观看| 国产亚州精品美女久久久免费| 日本Xx性爱| 国产亚洲精品自在线亚洲情侣| 五月色网| xxx亚洲午夜天堂| 97国产天堂岛| 亚洲丝袜在线观看| 成人一二| 黑人精品成人一区二区三区| 色婷五月天| 嫩草 人人网精品| 久久影视二区三区行押| 老熟女搡BBBB搡BBBB视频| 强奸国产在线| 久久男人网| 色综合20p| 综合 亚洲 欧美| .精品人妻一区二区三| 爆操无码| 吉田爱美AV在线| 九九九九免费视频| 国产粉嫩蜜臀av一区二区三区 | 国产美女激情| 97网色| www亚洲免费| 动漫爆乳3D奶水一区在线观看| 人妻啊啊人妻啊啊| 97免费视频在线观看视频| 亚洲欧美综合图片| 在线无码视频| 高树玛利亚无码流出| 久久久96精品| 日韩欧美成人午夜福利| 亚洲人在线| 久久久久女教师免费一区| 91精品人妻偷情| 成片免费观看视频大全| 欧美日韩国产电影| 亚洲图片色图欧美另类| 久久国产视频专区一二三| 精品少妇人妻一区二区三区| 天天干人人干天天日97| 目产99999久久999| 亚洲另类天堂| 99热思思| 丰满人妻-区二区三区| 少妇高潮对白在线观看| 无码视频一区二区| 欧美日韩免费性爱| 欧美综合加勒比在线| 天天综合网~91| 在线看片国产精品每日更新| 久久亚洲人妻| 操屄日韩| 午夜天天碰综合视频| 91老司机精品| 香蕉久久国产AV一区二区| 色阁阁AV综合网| 乱伦熟女专区| 岛国小电影| 亚洲综合在线第一页| 巨爆乳肉感一区二区三区竹菊影视 | 蜜臀AV一区二区三区| 欧美日韩操逼嗦吊| 男人天堂久久精品不卡| 中文字幕五区| 亚洲色狠| 九九热超碰97亚洲最新香蕉 | 日本97久久久精品| 中文字幕一区电影在线观看| 神马久久69| 久久精品欧美一区二区三区不卡| 91色图片| 日韩性爱再线视频| 97操B| 这里只有精品视频在线| 亚洲视频精选| 久久亚洲不卡一区二区三区| 一级AV性爱| 亚洲永久永久永久永久一级一级一级精品 | 不卡视频一区蜜桃视频 | 欧美综合传媒| 91精品大奶人妻| rion磁力链接| 高清不卡国产| 日日夜夜精品| 操东北女人| 九九玖玖精品| 爱我干综合| 中文乱码字幕观看视频| 91女在线观看| 日韩一区二区三区四区五区 | 人人色人人操在线| 日本一道在线播放高清| 中文字幕诱惑制服人妻丝袜美丝袜美| 极品极品色影院| 欧美天天综合网| 91中文精品日韩欧美在线| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 91精品丝袜久久久久久| 怡红院成人视频| 夫妻天天操岛国视频| 手机看av网站在线看| 亚洲影视高清三级-草1024榴社区入口-品爱AV| 九九99精品| 97亚洲精品| 精品网站99999| 丁香六月啪| 国产在线综合网| 日本三级韩国三级美三级91| 亚洲熟妇无码一区二区三区| 国产高清成人传媒影视| 最新av中文字幕高清| 青青草国产一区二区三区| 天堂精品在线| 一区二区娱乐网站| 在线无码视频| 亚洲色天| 99色热| 亚洲综合另类欧美久久久| 国产精品无码论坛| 国产高清自拍视频| 欧美综合1性辶| 亚洲图片 激情小说| 麻豆 欧美 日韩| 大香蕉免费乱伦视频| 欧美一区二区三区不卡高清视频| 中国熟妇| 久久中文字幕女同性恋一区| 久草资源欧美在线视频| 嗯嗯啊啊视频在线看| 福利伊人玖玖国产| 欧美日韩另类在线| 最新日本中文字幕| 婷婷五月天激情四射| 玖玖大干人妻| 夜夜免费视频| 97频视在线| 麻豆精品A片免费观看| 久久久爆乳翘臀一线天伦理视频| 狠狠爱综合| 久久国内| 强奸乱伦Av网| 欧美午夜一区二区三区| 强奸国产在线| 欧美日韩岛国大片在线观看| 亚洲人妻中文高清| 成人性爱高清视频免费看| 国产福利在线视频网站| 成人性爱av| 免费看黄片现成| 囯产精品久久久久久久久久梁医生| 亚洲丨在线| 99999久久精| 女生看匆91网站| 国产超碰97| 蜜桃臀一区二区aV| 欧美青青草视频| 人妻激情在线视频| 欧美成人精品一区二区男人蜜臀| 日本精品一区二区三| 高清孕妇孕交 交孕妇| 色欧洲97| 欧美精品黑人猛交高潮| 综合久久99| 国产精品懂色tv影视免费观看| 欧美中出| 妇女性内射冈站HDWWWCOM| 91啦人妻| 国产黄片精品在线| 婷婷亚洲综合| 国语人妻精彩刺激| 日本最新免费韩国1区2区视频播放| 欧美日本久久精品一区| 久久久99999久网站| 91黑丝美女| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 91深夜夜| 黄片免费看黄片免费看| 久久久蜜桃一区二区三区| 日本熟妇熟色97一本在线观看| 啊啊啊用力在线观看| 综合久欧洲| 日韩欧美蜜桃精品久久中文字幕久久| 黑人精品欧美一区二区蜜桃| 91丨人妻丨国产丨丝袜| 97在线视频观看网站| 自拍偷拍 日韩无码| 激情久久久| 四虎AV无码| 天天内射| 蜜臀久久99精品久久久久久无删减 | 国产一国产一级毛片古装| A 在线网址| 五月色网| 久久久久ab| 91日产桃蜜| 久久 国产 无码| A片 AV一级在线播放观看免费| 深爱激情五月天| 9超碰免费| 亚洲丝袜在线观看| 国产一级作爱毛片| 欧美精品丝袜久久久中文字幕| 国产99999久久精品| 亚洲性网| www.超碰| 国产热av| 国产精品女久久久久av爽| 婷婷五月天小说| 日韩美女,国产传媒,视频一区| 久久久久国色αv免费观看| 日本操逼视频不卡直接放| 久久五月视频| 久久久性少妇| 成人性爱视频在线看| 超碰亚洲97| 欧美综合自拍亚洲综合图| 超碰精品国产无码| 91九九九馒头| 亚州综合在线| AV九九| 天天干1区2区在线| 在线a v| 久草资源在线视频官方总站日韩丝袜美腿 | 亚洲色欧美| 久久综合九九| 女生看匆91网站| 强奸乱伦Av网| 蜜臀无码一区二区| 91成人久久| 美日韩一二三区| 日本人妻伦在线中文字幕| 99久热| 黄页| 日韩亚洲美州欧洲综三区一品在线| 国产夫妻性生活视频| 久干9操| 久久国产999| 日本免费中文字幕在线| 美女AV一区二区| 情趣丝袜无码操逼视频| 亚洲官网在线| 影音先锋新男人| 97色诱| 一区二区三区黄色片a| 另类av天堂| 久久久久久国产成人| 亚洲综合影片| 欧美综合娱乐久久| 啊啊啊啊好大好硬啊啊啊啊啊| 双插性欧美一二三区| 色婷婷久久综合超碰| 在线岛| 丝袜狂射91| 精品亚洲国产成人AV制服丝袜| 91网站18+| 亚洲中文字幕精品久久久久久直播| 亚洲不卡一| 99久久99九九99九九九| 97色综合中文网| 麻豆 欧美 日韩| 欧美日韩插逼视频| 九9热伊人| www.久久99| 无码人妻1727| 日日做夜狠狠爱欧美黑人| 九月丁香综合网| 99热婷婷一区二区三| 日韩三四五区| 一个国产在线综合网站| 就去色综合| 天天干天天日天天射黄色| 18禁在线视频| 精品一区二区三区蜜桃| 天堂国产AV| 日韩成人大片一区二区| 麻豆久久一区二区三区| 欧美精品久久| 五月天婷婷激情| 中文字幕精品一区欧美| 天天色综合影视网| 自拍视频大全亚洲专媒视频/一区二区三区 | 亚洲欧综合另类无码一区| 91丝袜人妻| 国产60区。| 2020国产精品| 久操操AV电影| 97亚洲色图| 天天内射| 老熟女91av| 色综合尤物| 国产精品白丝在线播放| 97超碰9| jiujiujiujingpin| 91在线美女| 777奇米影视777四色| 乱操乱伦AV| 久久在肏| 伊人久日| 激情四射五月天| 欧美 亚洲 制服 精品| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 日本天天人人狠狠在线日美女 | 麻豆黄站| 国产亚洲精品美女| 久久欧美1卡2卡3| 国产97色在线| JIZZJIZZ国产精品喷水| 国产性爱在线视频一区二区| 啊啊啊想要| 国语精品av| 香蕉大久久久| 亚洲欧洲无码一区夜| 日韩欧美成人大香蕉| 五月激情综合网| 亚洲黄网在哪免费看| 国产一级137片内射麻豆| 一区在线精品中文字幕| 欧美狠狠干| 欧州91高潮| 91女色| 91精品国产91久久久久久久久久久久| 欧美日韩天堂| 久9爱经典视频| 色网综合网| 蜜桃一区二区三区| 自拍亚洲综合| 欧美中字不卡| 骚熟女AV网| 国产suv精品一区二六| 日韩97视频| 大干人妻| 91久久婷婷| 久久精品久久久久久久| 色汉综合| 色欲天天综合久久久无码网中文| 国产精品白丝| 日韩偷拍一区二区三区 | 天操老女人| 久草草一二三四区久久| 日韩 女同 综合| 97超碰影音| 日韩人妻无码不卡网站| 9Ⅰ老熟女| 一二三区操逼国产91| 日韩免费一级性爱视频| 淫荡熟女乱伦网| 免费强奸av| 99人人干| 欧美专利1区2区3区4区5区免费| 青青草自拍视频在线播放| 国产嫩草精品A88AV在线| 日本啊啊啊啊啊视频| 久草精品一区| 天天综合青苹果| 懂色Av| 成人av影院在线观看| 国产69精品久久久久99尤物| 婷婷五月天色色| 九九视品黄色| 鸥美极品| 久久男人天堂| 欧美一区二区观看在线| 超91综合网| AV在线资源| 熟妇人妻一二三区免费| 欧美精品久久久久久久丰满| 乱欲一区二区| 日本天天吊| 日日干夜夜骑| 久久亚洲中文字幕视频| 影音先锋中文字幕日本好一区二区| 天天日天天爽| 成人十八禁日韩欧美一二三| 成人性生活高清视频在线播放| 亚洲高清无毛一区二区| 久久xxxx| 老熟妇一区二区三区啪啪| 亚洲欧美洲综合| 眼镜人妻101.com| 日韩啪啪啪啪啪| 欧美 日韩 婷婷 五月| 97久久国产| 丁香六月东京热| 91人妻视频在线| 后入合集| 操逼片中文| 蜜桃在线观看一区二区三区| 欧美另类丝袜熟女| 久久人人舔人人爽舔人人av片| 97亚洲综合电影| 国产精品禁久久久精品| 国产精品爽爽v| 操人妻丝袜高跟| 99热婷婷一区二区三| 欧美强奸乱能| 青青草色插素人| 日本人妻最新在线中| 久久草大香蕉| 久久久久九九九九九| 亚洲国产一区二区入口| 日日干夜夜操视频h| 蜜臀久久久99久久久久 | 在线a亚洲视频播放在线| 啊视频在线| 2019亚洲男人天堂| 精品久久久高清无码| 欧美三级免费伊人| 亚洲婷婷综合网| 狠狠躁AV| 蜜臀久久99精品久久久久| 99九九久久| 超碰97人妻自拍| 欧美 亚洲 偷拍自拍| 色香欲天天天天综合色| 亚洲第一黄色av网站| 久久伊人青青草| 人人做天天爱| 麻豆一区在线| 久久亚洲AV无码专区国产精品 | 无码精品久久久天天影视| 99天天超碰| 成人av福利在线观看| 久插综合| 在线国产福利网址导航| 久久视频少妇美女| 天天做日日爱夜夜爽| www. 男人天堂成人在线| 404操逼福利视频| 另类老少妇| 国产又色又爽又舒服的三级视频| 黄页网站成人免费| 啊啊啊不要好疼视频| 中文视频在线观看| 啊啊啊啊啊在线视频| 欧 美 自 拍 偷 拍| 欧美综合 站| 3p国产欧美99热| 天天干18禁| 亚洲aw毛茸茸在线| 亚洲综合另类小说色区亚洲成av人片在www| 诱惑人妻欧美一区在线播放| 亚洲图片欧洲图片aⅴ| 久久久涩| 久久25| 激情国产乱伦Av| 美女爽到高潮91| 成人贴图日韩欧美| 欧美日韩国产三级黄色| 中文字幕欧洲有码| 爆乳免费黄网站| 欧美成人四级在线播放| 99精品九九九九九九| 欧美美女自慰一区二区三区| 偷拍亚洲熟女视频播放| 东北女人性交| 久久亚洲天天做| 在线观看综合精品亚洲| V A在线| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 一区麻豆 高清中文字幕| 亚洲一级性爱视频免费看| 欧美中日韩XXXX| 樱花草社区www中国| 日本黄 R色 成 人网站| 一级片视频啪啪| 日韩干B| 九九成人精品| 久久99热这里只频精品6学生| 亚洲国产成人精品999| 久肏视频字幕| 日韩人妻精品中文字幕| 这里只有精品久久| 国产熟女免费观看久久| 青春草莓视频在线观看网址| 夜夜嗨一区二区三区三州加勒比| 自拍丝袜美腿人妻| 国产精品成人在线| 中文字幕一区电影在线观看| 日韩中文字墓| 麻豆一区二区AV天美| 久久久久久波多野吉衣高潮| 五月丁香六月婷| 亚洲欧综合另类无码一区| 亚洲无码 国产无码| 91热热色| 久久9精品网站| 性性久久| 天堂国产AV| 亚洲中文制服诱惑| 亚洲va综合va国产va中文| 欧美亚洲另类在线蜜桃| 搞中出久久| 亚洲乱码精品一区二区| 丝袜综合网| 中国少妇啪啪视频| 99日视频在线免费| 国产自产22区| 91激情综合| 熟女AV一区| 九九拍拍精品视频在线播放| 99re这里只有精品3| 亚洲av在线免费观看| 另类视频在线| 成人AV在线电影| 国产女人成人精品视频| av天堂手机版追回| 在线精品福利免费播放| 91强热人妻| 国产精品成人福利在线| 免费看国产曰批40分钟怎么下载| 精品日韩中文在线| 北约熟女超碰| 在线观看AV片| 亚欧Av| 强免费黄色网址| 久久老子无码午夜伦不卡| 美女黄频a美女大全免费皮| 天天色综亚洲91污| 久久香蕉综合一本到3atv| 夜嗨影院| 大香蕉手机视频| 思思热在线视频精品| 亚洲日韩一区电影| 97视频观看| 麻豆乱码久久精| 欧美日韩婷婷中文| 国产诱惑| 99999久久精| 精品免费一区| 51久久夜色精品国产麻豆| 无码 黑人一区二区三区| 超碰在线香蕉| av国产无码| 精品久久久九九九孕妇| 久久內射| nuu12国产麻豆精品| 综合色区偷拍| 另类亚洲一区二区三区| 亚洲国产精品有声| 乱老女人一区二区视频| 9/A片| 亚洲欧美日产国产91毛片| 操逼无毒无码免费视频| 亚洲欧美91| 在线中文字幕| 亚洲一区二区性爱电影| 亚洲情色电影网| 欧美日韩大陆黑人少妇99| 亚州精品人妻一二三区| 亚洲精品久久久久毛片A片拉屎| 人人操人人摸人人看人人插| 国产高清无码一区二区三区四区皇冠| 夂久色| 制服诱惑亚洲一区二区三区在线观看| 国产2.3.4区| 国产丝袜欧美在线视频| 抽插无码高清一区| 蜜桃久久久久久久| 天天综合站| 操b在线观看| 久久久久9999| 伊人伊人LD| 嗯嗯啊好爽| 亚洲一区二区三区欧美日韩| 97资源超碰| 久久久久久久久久久精| 久草精品国产99| 大香蕉丝袜一级片| 超碰538| 69天堂| 黄片在线免费在线观看| 国产福利夜| 亚洲天堂资源网| 黑人无码一区二区| 久久111| 伊人加勒比| 丁香婷婷九月| 欧美 亚洲 91| 午夜视频黄| 狠狠 91| 色原狠狠天天天| 欧美日韩不卡a片| 色女综合| 日本不卡一区| 亚州精人品大香蕉| 欧美草草高清日韩视频| 婷婷午夜成人色中色| 欧美精品偷拍| 亚洲电影中字一区二区| 人妻少妇蜜桃视频欧美一区| 亚洲色棕合| 成人性爱美曰韩| 干B| 在线无码视频| 亚洲中文字幕日产无码久久| 国产亚洲色婷婷久久99精品91 - 百度| 亚洲AV免费在线| 超碰97.com| 国产色呦呦| 五月天欧美色图| 顶级丝袜熟女一区二区三区| 91爱看| 秋霞成人一级在线观看| 东京热一区二区三区四区五区六区| 日日骚AV| 高清不卡一二三区视频......| 蜜桃久久一区二区| 96AV精品| 久久久久少妇| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 高潮的A片激情扒开一区| 亚州精品丝袜-不卡成人免费| 啪啪视频免费在线观看| www鬼畜国产男人的天堂| 亚洲综合首页| 99999精品成人| 大香蕉乱级| 欧美日韩大香蕉| 97精品网| 超碰久久性爱| 九九综合九九综合| 伊人久久国产免费观看视频| 综合久久少妇中文字幕| 熟啊v色欧美热| 岛国视频一二三区| 四虎免费视频| 九九亚洲视频| 精品九九九| 青青草色情网站视频| 欧美黑人精品在线播放| 91老熟女91老女人| 色婷婷丁香五月| AAAA级日本片免费视频| 1204av韩国| 国产精品视频白浆免费| 欧美色干| 亚洲91网。| HEYZO高无码国产精品227| 伊人宅男大香蕉| 毛片视频白嫩| 黄页视频网站野外| 国产精品久久久久久久久久久久久久| 一牛影视久久久一区二区三区| 无码人妻精品一区二区中文| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 超碰99在线| 欧美少妇第一页| 日韩一级成人毛片免费观看| rion磁力链接| 97超碰资源网| 丁香六月婷| 久久av一级av少妇av高潮| 亚洲av资源| 日韩精品作爱导航| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 青青在线视频日韩欧美| 久久爽爽精品| 综合五月天| 思思热久久成人| 69精品| 久久99深爱久久99精品| 女人天堂AV五区在线| 91社操逼| 久久久性| 中文字幕丝袜| x97av| 91亚洲影院综合| 欧美日韩丝袜| 亚洲天堂无码| 狠狠中文字幕| 日本人妻丰满熟妇久久久久久| 欧美亚洲清纯| 亚洲情色在线| 亚洲免费精品一区| 色婷久久| 亚洲国产一级精品毛一级精品看免费视频 | 亚洲日本激情| 美女黄网| 久操频道免费在线呗看| 亚洲性猛| 日日黄色三级网站| 日日天天久久啊啊aaa| 久久婷婷五月天| 免费的黄片wwwwww| 日韩免费大片一级播放| 超清福利精品视频在线| 久久久久久九九九| 国产精品伦理| 国产午夜福利合集| 91久久国外网| 亚洲熟女乱综合一区二区三区| 日本免费一区二| 久久久九97| 欧美在线视频99| 欧美一区二区亚洲天堂| 国产懂色精品国产av| 在线观看AV片| av无码精品久久久久| 欧美精品xxxwww| 狼狼色丁香久久婷婷综合五月| 日韩欧美福利视频看看| 精品国产一区探花在线观看| 精品免费一区| 亚洲欧美首页| 91色图| 中文字幕在线免费观看2| 超碰欧美| 日韩av电影成人在线| 一级性爱视频免费在线| 久久久国产av美女私房| 亚洲国产精品成人综合| 国产亚洲精品精AV.| 色操逼网| 在线看片国产精品每日更新| 国产一级作爱毛片| 久久这里只精品99re66图| 色官网在线| 五月婷婷六月色| 男人的天堂,欧美亚洲另类国产日韩,日本高清一区二区 | 日本色色视频网站| 久久社区一区二区三区| 欧美专区日本专区| 亚洲精品视频在线播放| 天天流夜夜操| 精品网站9999| 99黄页网站| 97精品一区| 欧美综合亚洲综合| 乱性AV| 黄片aaaaa一区| 日本人妻A片成人免费看片| 国产女人高潮视频| 欧美成人亚洲精品| 亚洲伊人久久精品影院| 久伊人网78| 97视频在线| 精品成人动漫一区二区| 日韩av乱伦| 日本三级小说中文字幕| 97亚洲欧美日韩| 东北女人性交| 中文字幕国产在线天堂| 91在线视频观看国产| 久操精品网| 精品人妻夜夜草| 九色 蝌蚪 熟女自| 少妇久久久| 欧美日韩操操操| 麻豆人妻精品一区二区| 日日黄色三级网站| 99999亚洲另类| 男女做爰猛烈动高潮A片免费应用| 综合免费无码中文| 久久久九97| 香蕉色网| AVE乱伦| 4399成人黄A片| 国产肏屁眼视频| 国产成人五月天丁香花| 吖在线不卡一区二区国产剧情| 日韩黄色成人性爱| 物尤视频一区二区| 伦理第一页| 国产精品无套内谢| 人妻精品综合中文字幕在线| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 欧洲综合视频| 青青草原成人| 久久久久久亚洲Av无码| 99热综合| 色香综合天天影视综合 | 亚洲图片欧美日韩| 亚洲国产中文字幕| 亚洲 小说 欧美 激情 另类| 亚洲五月天激情| 美女网站黄页| 国产一区二区三区免费视频在性观看 | 色婷五月天| 中文字幕免费看| 中文字幕精品一区欧美| 97色在线观看| 欧美日韩欧美| 性爱1区| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 国产日韩精品suv| 色噜噜婷婷| 噜噜瑟| 自拍偷拍 日韩无码| 久久久久久久久久黄色网| 美女被啪到深处抽搐视频| 婷婷色导航| 丝袜加勒比| 男男H黄动漫啪啪无遮挡网站| baiduhicn.com。| 天天夜躁日日躁狠狠2002| 麻豆天美国美国产| 久一区久久蜜桃| 这里有精品| 最新AV在线| 在线只有精品| 亚洲 欧美 第一页 | 十八禁黄色| 九九aV| 久久蜜桃一区二区| 99久久久久| 色九九久九九| 99爱精品| 亚洲天堂男人网| 78综合网| 一级性爱网| 污到发麻的视频 国产| 蜜臀视频网站| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 蘋果手機免費看成人Av| 久久男人精品| 人妻熟妇久草在线| 亚洲一本色道中文无码aV天美| 日韩八十路老熟女| 亚洲AV无码国产成人| 91痴汉| 日日狠狠久久偷偷色综合免费| 国产精品一区二区三区免费视频| AV中文在线可看| 久久AV无码AV| 少妇三P| 丝袜美腿制服人妻二区中文字幕 | 日逼逼免费看| 大香蕉伊然在亚洲91| 国产精品免费视频不卡| 男同专区一区二区三区在线| 少妇高潮99p| 最新av网站在线观看| 久热大香蕉网站| 欧美色婷婷| 青娱乐淫乱1314| 99精品人人爽| www99热| 日本孕妇一区二区视频操逼免费看| 图色综合网| 美中日韩无码| 亚洲资源站| 日韩精品人妻中文字幕久久久| 国产三级中文有码在线视频| 精品人妻一区二区三区四区| 精品久久在线区一区| 国产成人综合在线播放| 9久9久9久9久视频网站| 人人澡人人爽人人精品| 国产精品自拍xxxx| 午夜欧美精品久久久| 97超碰色屌| 999岛国大片| 狠狠久久手机视频精品| 久久久一区二区| 91狠狠综合久久久久久| 日本天天操| 极品色| 少妇丝袜在线观看AV| 国产蜜臀精品一区免费尤物| 芊芊操逼视频无码| 欧美美女视频| 欧美久久久| 久久综合18p| 欧美日韩国产色图在线| 无遮挡男女激烈动态图| 久草线上视频免费看| 国产九九久久久精品| 热99这里只有精品| 国产中出内射一区二区| 午夜福利合集| 伊人国产视频| 女同在线视频一区| 秋霞蝌科网日本一区| 色色毛片| 久久久久久久| 国产AV人人夜夜澡人人爽麻豆| 97超碰色五月| 日本一本道A级黄色毛片试看60分钟| 亚洲麻豆av一区二区| 97亚洲综合在线| 97网址97| 97超碰天天| 精品少妇一区二区三区免费观看| 精品国产乱码久久久久久口爆网站| 乱伦熟女论坛| 欧美性暴力| 日本久久久精品电影| 久久99999| 日日干日日操五月天伦理视频| 91精品91久久久中77777| 嗯嗯啊啊视频在线看| 93人人操人人| 亚洲一区操| 九九无码| 狠狠爱夜夜| 蜜区区视频79| 99精品在线| 91男同| 日欧毛片久久| 18岁禁 茉莉成人久久| 天天干天天日天天射黄色| 五月丁香狠狠爱| 亚洲超碰在线| 天天看,天天做| 亚洲精品乱码久久久久久蜜桃麻豆| 91精品女厕偷拍视频| 欧美一区二区日韩三区| 黄色成人网久久久久久| 人人摸人人入| 91欧洲国产成人久久精品网站| 久久高潮妇女视频| 麻豆91熟妇人妻中文字幕茄子| 国产精品伦理| 91女日逼| 91天天综合日韩欧美| 色97干| 国产白丝av| 福利视频香蕉免费一区二区在线| 中文字幕丰满子伦无码专区在线视频最新| 巨乳特殊服务按摩| 91亚洲图片| 欧美色宗合| 人人操 欧美| 69少妇一区二区| 日韩卡一卡二卡三在线| 操逼操逼逼操操逼91| 无码乱人伦中文视频| 人妻99p| 九九热在线视频| 99r九九| 人人搡人人肉久久精品| 偷拍片久久| 99re这里只有精品2|