久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

WinDbg藍(lán)屏分析實(shí)戰(zhàn):從DMP文件到錯(cuò)誤碼解讀

WinDbg藍(lán)屏分析實(shí)戰(zhàn):從DMP文件到錯(cuò)誤碼解讀 有一次幫朋友排查筆記本藍(lán)屏事件查看器里只有一個(gè)Kernel-Power 41設(shè)備管理器看著一切正常內(nèi)存跑了幾輪也沒報(bào)錯(cuò)。后來我用WinDbg打開崩潰時(shí)生成的DMP文件兩分鐘就定位到了問題某型號(hào)無線網(wǎng)卡的舊驅(qū)動(dòng)在DMA寫入時(shí)訪問了無效地址更新固件之后再?zèng)]出現(xiàn)過。藍(lán)屏分析這件事繞不開WinDbg——它是微軟官方調(diào)試器能把系統(tǒng)崩潰那一刻的現(xiàn)場(chǎng)完整還原出來。這篇是這個(gè)系列的第一篇不談玄學(xué)只講落地的實(shí)用技巧從環(huán)境準(zhǔn)備到第一份DMP的完整分析流程再到高頻錯(cuò)誤碼的解讀套路和常見誤判。如果你是第一次接觸藍(lán)屏分析或者之前只會(huì)用事件查看器和BlueScreenView這類工具這篇正好適合你。后面我會(huì)盡量用“拿到問題→怎么查→怎么確認(rèn)”的順序來寫把我實(shí)際分析過程中的經(jīng)驗(yàn)和踩過的坑都攤開講。1. 為什么事件查看器不夠用藍(lán)屏分析為什么要死磕WinDbg1.1 藍(lán)屏其實(shí)是一次“內(nèi)核級(jí)的停機(jī)報(bào)告”Windows藍(lán)屏的正式名字叫BugCheck本質(zhì)上是內(nèi)核檢測(cè)到系統(tǒng)已經(jīng)無法安全繼續(xù)運(yùn)行調(diào)用了KeBugCheckEx主動(dòng)停機(jī)。停機(jī)之前系統(tǒng)會(huì)把當(dāng)前內(nèi)存中的關(guān)鍵信息寫入轉(zhuǎn)儲(chǔ)文件也就是我們常說的DMP文件。這里要糾正一個(gè)很常見的誤解事件查看器里那條Kernel-Power 41并不是藍(lán)屏的原因它只是“上一次關(guān)機(jī)不正?!钡慕Y(jié)果。真正有價(jià)值的信息在BugCheck事件里也就是Event ID 1001它會(huì)記錄藍(lán)屏的代碼和四個(gè)參數(shù)比如0x000000D1這一類。但光看這串?dāng)?shù)字你很難知道問題出在哪個(gè)驅(qū)動(dòng)、哪個(gè)操作上。這就像一輛車突然熄火儀表盤只告訴你“發(fā)動(dòng)機(jī)故障”但你是想查火花塞、油路還是傳感器必須把行車電腦的數(shù)據(jù)導(dǎo)出來逐條看。DMP文件就是那臺(tái)行車電腦的數(shù)據(jù)WinDbg就是讀取這個(gè)數(shù)據(jù)的設(shè)備。1.2 事件查看器和第三方工具的局限性市面上確實(shí)有一堆號(hào)稱一鍵分析藍(lán)屏的工具比如BlueScreenView、WhoCrashed我也用過它們能幫你快速看到錯(cuò)誤代碼、崩潰模塊、堆棧摘要應(yīng)急夠用。但它們的短板也很明顯只能展示W(wǎng)inDbg分析結(jié)果中很小的一部分尤其在多驅(qū)動(dòng)協(xié)同崩潰、內(nèi)存池?fù)p壞這類復(fù)雜場(chǎng)景下幾乎幫不上忙。對(duì)比一下就知道工具能做什么局限事件查看器顯示BugCheck代碼和四個(gè)參數(shù)不解釋參數(shù)含義看不到調(diào)用棧BlueScreenView讀取DMP的摘要信息顯示崩潰模塊沒有符號(hào)解析能力無法交叉驗(yàn)證WhoCrashed自動(dòng)給出可能原因誤判率高經(jīng)常把系統(tǒng)驅(qū)動(dòng)當(dāng)元兇WinDbg符號(hào)化調(diào)用棧、完整模塊列表、參數(shù)解釋、內(nèi)存池分析有學(xué)習(xí)成本但是可追溯的完整證據(jù)鏈我用WinDbg分析DMP核心是它能給我一條完整的證據(jù)鏈不僅是“哪個(gè)模塊崩潰了”還包括它在什么IRQL下、訪問了什么地址、調(diào)用了什么函數(shù)、當(dāng)前進(jìn)程是什么、驅(qū)動(dòng)文件的版本和時(shí)間戳是多少。把這些拼起來才能判斷是驅(qū)動(dòng)bug、硬件故障還是內(nèi)存被踩踏的連鎖反應(yīng)。2. 第一次動(dòng)手前選對(duì)工具、配好符號(hào)、確認(rèn)轉(zhuǎn)儲(chǔ)文件2.1 WinDbg版本怎么選經(jīng)典版、Preview還是最新版現(xiàn)在WinDbg實(shí)際上有三個(gè)常見形態(tài)很多人一搜“windbg下載”就懵了。簡單說經(jīng)典WinDbg包含在Windows SDK里界面經(jīng)典命令兼容性最好在老舊系統(tǒng)調(diào)試場(chǎng)景下仍然能打。WinDbg Preview微軟商店里上架的新版現(xiàn)在直接叫WinDbg界面現(xiàn)代化了一點(diǎn)支持暗色主題底部的Command窗口仍是主戰(zhàn)場(chǎng)。官方最新WinDbg繼續(xù)以商店方式更新分析性能更好支持更多擴(kuò)展命令。我的建議是直接用新版WinDbg從微軟商店裝一個(gè)就行。命令基本兼容偶爾有擴(kuò)展命令差異網(wǎng)上資料大多數(shù)都能對(duì)上。經(jīng)典版可以留著萬一遇到老系統(tǒng)的轉(zhuǎn)儲(chǔ)兩邊對(duì)照著用。有人會(huì)糾結(jié)漢化包的問題。我個(gè)人建議是不要用漢化——藍(lán)屏分析真正高頻操作的還是那幾十條命令菜單就那么幾個(gè)漢化了反而對(duì)不上社區(qū)資料里的術(shù)語。2.2 符號(hào)路徑?jīng)]有符號(hào)的WinDbg等于廢了一半符號(hào)文件.pdb是WinDbg的靈魂。DMP文件里記錄的是一堆虛擬地址沒有符號(hào)的話WinDbg只能告訴你“某個(gè)模塊調(diào)用了另一個(gè)模塊”卻無法顯示函數(shù)名調(diào)用棧全是問號(hào)。這相當(dāng)于你拿到一份地址列表但沒有門牌簿根本不知道每扇門背后是誰。正確做法是配置微軟公共符號(hào)服務(wù)器讓W(xué)inDbg按需自動(dòng)下載。標(biāo)準(zhǔn)符號(hào)路徑是SRV*C:\Symbols*https://msdl.microsoft.com/download/symbols在WinDbg里按CtrlS打開符號(hào)路徑設(shè)置或者在命令窗口直接輸入.sympath SRV*C:\Symbols*https://msdl.microsoft.com/download/symbols也可以設(shè)置環(huán)境變量_NT_SYMBOL_PATH這樣對(duì)后續(xù)所有調(diào)試會(huì)話都生效。首次分析時(shí)符號(hào)下載會(huì)慢一些尤其碰到系統(tǒng)大模塊耐心等就行。如果你在公司內(nèi)網(wǎng)或離線環(huán)境符號(hào)下載不了就找一個(gè)有網(wǎng)的機(jī)器把符號(hào)緩存整個(gè)C:\Symbols目錄復(fù)制過去也能用。更穩(wěn)妥的方式是用symchk預(yù)先拉取目標(biāo)模塊的符號(hào)。2.3 轉(zhuǎn)儲(chǔ)文件從哪里來Minidump、MEMORY.DMP與轉(zhuǎn)儲(chǔ)參數(shù)DMP文件一般有兩個(gè)位置C:\Windows\Minidump小內(nèi)存轉(zhuǎn)儲(chǔ)通常幾百KB到幾MB包含崩潰時(shí)的關(guān)鍵內(nèi)存和調(diào)用棧日常分析最快。C:\Windows\MEMORY.DMP完整或內(nèi)核內(nèi)存轉(zhuǎn)儲(chǔ)可能有幾個(gè)GB信息最全但分析起來也慢。如果你想系統(tǒng)在藍(lán)屏?xí)r穩(wěn)定生成轉(zhuǎn)儲(chǔ)去“系統(tǒng)屬性→高級(jí)→啟動(dòng)和故障恢復(fù)→設(shè)置”里檢查一下。建議把“寫入調(diào)試信息”留成“自動(dòng)內(nèi)存轉(zhuǎn)儲(chǔ)”或者按需改成“小內(nèi)存轉(zhuǎn)儲(chǔ)(256KB)”。還有兩個(gè)細(xì)節(jié)建議關(guān)掉“自動(dòng)重新啟動(dòng)”否則藍(lán)屏一閃就重啟現(xiàn)場(chǎng)信息丟失來不及拍照記錄錯(cuò)誤碼。轉(zhuǎn)儲(chǔ)寫入依賴頁面文件頁面文件太小會(huì)導(dǎo)致轉(zhuǎn)儲(chǔ)生成失敗。想讓藍(lán)屏分析可靠系統(tǒng)盤頁面文件至少留2GB以上最好是“系統(tǒng)管理的大小”。如果你發(fā)現(xiàn)Minidump目錄是空的先別急著懷疑“沒藍(lán)屏過”。去系統(tǒng)盤根目錄看有沒有MEMORY.DMP那個(gè)同樣能分析。還有可能是之前的轉(zhuǎn)儲(chǔ)被清理工具刪了或者是Windows在快速啟動(dòng)機(jī)制下沒有完成轉(zhuǎn)儲(chǔ)寫入。2.4 先對(duì)齊時(shí)間用事件日志給DMP文件“洗底”很多人拿到DMP就急著拖進(jìn)WinDbg我建議你先做一個(gè)60秒的準(zhǔn)備工作打開事件查看器找到“Windows日志→系統(tǒng)”篩選Event ID 1001可以看到每次BugCheck的時(shí)間和錯(cuò)誤代碼。然后把C:\Windows\Minidump里的文件按修改時(shí)間排序挑出對(duì)應(yīng)時(shí)間的那個(gè)。這一步看著簡單其實(shí)作用很大。它能避免你分析了一份過期的轉(zhuǎn)儲(chǔ)——尤其是那種“一年前藍(lán)屏過一次今天又藍(lán)屏”的情況兩個(gè)DMP可能指向完全不同的原因。先對(duì)齊時(shí)間再?zèng)Q定分析哪份文件分析結(jié)論才靠譜。如果你發(fā)現(xiàn)Minidump里有十幾個(gè)文件而用戶只描述“最近經(jīng)常藍(lán)屏”那就先看最新的一份。但不要只看一份后面我會(huì)講到多份轉(zhuǎn)儲(chǔ)之間的橫向?qū)Ρ韧葐畏萆钔诟菀妆┞缎判摹?. 拿到DMP后的五個(gè)核心步驟從!analyze -v到證據(jù)鏈閉合3.1 第一步打開轉(zhuǎn)儲(chǔ)文件先看系統(tǒng)版本摘要在WinDbg里打開DMP文件菜單路徑是File → Start debugging → Open dump file最新版叫Open Dump File直接選中.dmp文件即可。也可以用命令行windbg -z C:\Windows\Minidump\081318-23451-01.dmp打開之后WinDbg會(huì)自動(dòng)加載符號(hào)輸出窗口會(huì)先顯示目標(biāo)系統(tǒng)的版本、構(gòu)建號(hào)、CPU數(shù)量。別直接跳過這一段因?yàn)槟闶紫纫_認(rèn)的是這份轉(zhuǎn)儲(chǔ)來自哪個(gè)Windows版本是不是這臺(tái)機(jī)器的有些轉(zhuǎn)儲(chǔ)可能是別的機(jī)器拷貝來的構(gòu)建號(hào)對(duì)不上后續(xù)分析會(huì)出現(xiàn)誤導(dǎo)。比如輸出里出現(xiàn)Windows 10 Kernel Version 19041說明這是2004版或之后的系統(tǒng)。構(gòu)建號(hào)對(duì)分析有參考價(jià)值——某些BugCheck只在特定構(gòu)建號(hào)上出現(xiàn)你可以在社區(qū)搜“構(gòu)建號(hào)錯(cuò)誤碼”往往能直接找到已知問題。3.2 第二步執(zhí)行!analyze -v先看它怎么說假設(shè)你已經(jīng)看到了熟悉的BugCheck字樣下一步就是在命令窗口輸入!analyze -v這是WinDbg最核心的自動(dòng)分析命令。它會(huì)解析DMP中的關(guān)鍵信息輸出這樣一段內(nèi)容BugCheck D1, {fffff8800a112340, 0000000000000002, 0000000000000008, fffff8800a10f510} DRIVER_IRQL_NOT_LESS_OR_EQUAL Probably caused by : Netwtw04.sys這里有三塊信息要先看BugCheck行錯(cuò)誤代碼和四個(gè)參數(shù)。參數(shù)的解釋在后面細(xì)講。Probably caused byWinDbg給出的推測(cè)模塊。注意“probably”這個(gè)詞它不是結(jié)論是線索。下面的STACK_TEXT崩潰時(shí)的調(diào)用棧這是后續(xù)人工確認(rèn)的重點(diǎn)。!analyze -v還會(huì)輸出IMAGE_NAME、MODULE_NAME、FAILURE_BUCKET_ID等字段。新手最容易犯的錯(cuò)誤是把MODULE_NAME當(dāng)作最終結(jié)論直接寫在報(bào)告里但我的經(jīng)驗(yàn)是它至少有30%的概率會(huì)把你的注意力帶偏尤其遇到符號(hào)不全或棧回溯被截?cái)嗟那闆r。3.3 第三步參數(shù)和棧回溯怎么交叉驗(yàn)證如果!analyze -v的輸出已經(jīng)很明顯比如?;厮堇镞B續(xù)出現(xiàn)同一個(gè)第三方驅(qū)動(dòng)那基本可以下判斷。但更常見的情況是“似乎指向A驅(qū)動(dòng)又有點(diǎn)牽扯B驅(qū)動(dòng)”這時(shí)候必須做交叉驗(yàn)證。執(zhí)行.ecxr kb.ecxr會(huì)把調(diào)試上下文切換到異常發(fā)生的那個(gè)線程kb顯示它的調(diào)用棧。這一步很關(guān)鍵因?yàn)?analyze -v給出的?;厮萦袝r(shí)是自動(dòng)判斷的不一定是最完整的現(xiàn)場(chǎng)。切換上下文之后再展開往往能多看幾層看到崩潰前到底調(diào)用了什么。如果?;厮堇锍霈F(xiàn)大量系統(tǒng)模塊比如nt!KeBugCheckEx、nt!KiBugCheckDispatch別緊張那是藍(lán)屏的固定路徑真正要盯的是棧里靠下的位置——那個(gè)觸發(fā)異常的具體模塊。再配合lmvm Netwtw04lmvm會(huì)顯示該模塊的詳細(xì)信息包括文件版本、時(shí)間戳、符號(hào)加載狀態(tài)。驅(qū)動(dòng)的時(shí)間戳尤其重要如果崩潰模塊是個(gè)兩年前的舊驅(qū)動(dòng)而它又指向了一個(gè)已知的硬件bug那結(jié)論就非常扎實(shí)。3.4 第四步查錯(cuò)誤碼的參數(shù)含義區(qū)分根因類型BugCheck代碼底下的四個(gè)參數(shù)不是擺設(shè)它們是區(qū)分根因的關(guān)鍵。以0x000000D1為例常見含義是參數(shù)1被訪問的內(nèi)存地址參數(shù)2中斷請(qǐng)求級(jí)別IRQL參數(shù)3操作類型0表示讀1表示寫8表示執(zhí)行參數(shù)4引用該內(nèi)存的指令地址如果你發(fā)現(xiàn)參數(shù)1是個(gè)低地址比如0x00000005之類的大概率是空指針解引用如果參數(shù)3是1寫操作說明驅(qū)動(dòng)在往一個(gè)不該寫的地方寫數(shù)據(jù)如果參數(shù)2非常高比如IRQL等于2以上那就要關(guān)注驅(qū)動(dòng)是否在錯(cuò)誤的IRQL上執(zhí)行了分頁內(nèi)存訪問。這里要提醒一下不同Windows版本的參數(shù)含義可能有細(xì)微差別。拿不準(zhǔn)的時(shí)候去微軟文檔里搜“Bug Check 0xD1”或者“Bug Check 0x50”查對(duì)應(yīng)頁面比盲目猜要靠譜得多。3.5 第五步用模塊列表和驅(qū)動(dòng)時(shí)間戳補(bǔ)全證據(jù)鏈?;厮堇镏傅侥硞€(gè)驅(qū)動(dòng)這只是“最后一步踩空”。真正重要的是搞清楚“為什么它會(huì)踩空”。這時(shí)候要看整個(gè)系統(tǒng)的驅(qū)動(dòng)加載情況lm t n這條命令會(huì)列出所有已加載的內(nèi)核模塊和驅(qū)動(dòng)。重點(diǎn)看第三方驅(qū)動(dòng)比如網(wǎng)卡、顯卡、虛擬化軟件、安全軟件的驅(qū)動(dòng)。很多時(shí)候崩潰棧里看到的驅(qū)動(dòng)并不是問題的源頭——源頭可能是另一個(gè)驅(qū)動(dòng)破壞了內(nèi)存池然后崩潰正好發(fā)生在第三個(gè)驅(qū)動(dòng)里。我的判斷順序是這樣的先用!analyze -v拿到候選模塊再用lmvm確認(rèn)候選模塊的版本和時(shí)間戳?xí)r間戳太舊是重大嫌疑然后用.ecxrkb看完整調(diào)用棧確認(rèn)崩潰路徑最后lm t n檢查全局驅(qū)動(dòng)列表看有沒有其他老版本驅(qū)動(dòng)或已知問題驅(qū)動(dòng)存在。這一套走完結(jié)論通常就比較穩(wěn)了比單看一行Probably caused by可靠得多。4. 高頻藍(lán)屏代碼實(shí)戰(zhàn)五個(gè)錯(cuò)誤碼的分析套路4.1 0x0000000A / 0xD1 這類驅(qū)動(dòng)內(nèi)存訪問違規(guī)怎么處理0x0000000AIRQL_NOT_LESS_OR_EQUAL和0x000000D1DRIVER_IRQL_NOT_LESS_OR_EQUAL本質(zhì)上是一家人都是在過高的IRQL下訪問了可分頁內(nèi)存導(dǎo)致內(nèi)核無法繼續(xù)。區(qū)別是0x0A可以發(fā)生在任意內(nèi)核代碼里0xD1則明確指向驅(qū)動(dòng)。遇到這類錯(cuò)誤碼我的套路是先看參數(shù)3如果操作類型是寫1重點(diǎn)查驅(qū)動(dòng)釋放內(nèi)存后是否仍在寫也就是懸垂指針再看參數(shù)2的IRQL值如果大于PASSIVE_LEVEL0而?;卣{(diào)用到了分頁內(nèi)存那就是驅(qū)動(dòng)在錯(cuò)誤的時(shí)間做了錯(cuò)誤的事最后把崩潰棧里的模塊和時(shí)間戳記錄下來去網(wǎng)上搜“模塊名錯(cuò)誤碼”看是否已知問題。這條排查鏈路特別適合網(wǎng)卡、聲卡驅(qū)動(dòng)的藍(lán)屏。很多人遇到0xD1第一時(shí)間懷疑內(nèi)存硬件但我經(jīng)手的案例里相當(dāng)大比例是驅(qū)動(dòng)bug。4.2 0x00000050 PAGE_FAULT_IN_NONPAGED_AREA的問題別急著換內(nèi)存0x50的意思是系統(tǒng)訪問了一個(gè)無效物理地址比如引用了已被釋放的頁面、訪問了不存在的物理內(nèi)存或者對(duì)不可分頁區(qū)域執(zhí)行了分頁操作。錯(cuò)誤信息里經(jīng)常看到一堆nt!Mi開頭的函數(shù)很容易讓人以為是內(nèi)存條壞了。但這里有個(gè)經(jīng)典誤判0x50也可能是驅(qū)動(dòng)“釋放內(nèi)存后繼續(xù)使用”造成的。判斷方式有兩個(gè)看崩潰棧中是否有第三方驅(qū)動(dòng)在ExFreePool之后又訪問了同一個(gè)地址看參數(shù)1錯(cuò)誤的內(nèi)存地址是否接近驅(qū)動(dòng)常用的池地址范圍。如果棧回溯里只有nt內(nèi)核函數(shù)沒有任何第三方模塊那硬件嫌疑才上升。這種情況下我會(huì)建議先跑MemTest86再檢查CPU的IMC內(nèi)存控制器和BIOS里的XMP設(shè)置最后才是換內(nèi)存。4.3 0x0000003B SYSTEM_SERVICE_EXCEPTION異常代碼是關(guān)鍵0x3B表示在執(zhí)行系統(tǒng)服務(wù)時(shí)發(fā)生了未處理的異常。這類藍(lán)屏經(jīng)常和顯卡驅(qū)動(dòng)、存儲(chǔ)驅(qū)動(dòng)、安全軟件驅(qū)動(dòng)有關(guān)。它的四參數(shù)里第一個(gè)就是異常代碼比如0xc0000005訪問沖突、0xc000000d非法指令后面是異常發(fā)生的指令地址。我的分析重點(diǎn)是看?;厮葜谐霈F(xiàn)的是哪個(gè)模塊。如果指向dxgkrnl.sys、nvlddmkm.sys、athwb.sys這類圖形或網(wǎng)絡(luò)驅(qū)動(dòng)大概率是驅(qū)動(dòng)在處理請(qǐng)求時(shí)越界。如果?;厮堇锶窍到y(tǒng)模塊那可能是系統(tǒng)服務(wù)出現(xiàn)了堆損壞需要進(jìn)一步檢查是否有其他驅(qū)動(dòng)破壞了堆。補(bǔ)充一條經(jīng)驗(yàn)0x3B的崩潰現(xiàn)場(chǎng)經(jīng)常發(fā)生在系統(tǒng)負(fù)載高、USB設(shè)備插拔頻繁的時(shí)間點(diǎn)排查時(shí)不妨問問用戶“藍(lán)屏前在做什么”往往能幫你快速縮小范圍。4.4 0x0000001A MEMORY_MANAGEMENT內(nèi)存池?fù)p壞的排查方向0x1A是內(nèi)存管理器檢查到內(nèi)部狀態(tài)不一致比如頁表項(xiàng)被寫壞、PFN列表被破壞。這類錯(cuò)誤一出很多人直接判定“內(nèi)存條壞了”但我更愿意先把它當(dāng)“內(nèi)存被驅(qū)動(dòng)踩了”來查。!analyze -v輸出里會(huì)有一個(gè)子錯(cuò)誤碼Arg1不同子碼對(duì)應(yīng)不同的內(nèi)存損壞場(chǎng)景??吹?x1A時(shí)我會(huì)額外執(zhí)行!memanalysis或者用!pool這兩個(gè)命令會(huì)掃描內(nèi)存池的標(biāo)記和潛在損壞。如果某個(gè)驅(qū)動(dòng)名的池標(biāo)記反復(fù)出現(xiàn)那基本可以斷定是這個(gè)驅(qū)動(dòng)在池上亂寫導(dǎo)致內(nèi)存管理結(jié)構(gòu)錯(cuò)亂。這時(shí)候換內(nèi)存條解決不了問題該更新驅(qū)動(dòng)、卸載沖突軟件才對(duì)。4.5 0x000000EF CRITICAL_PROCESS_DIED先查系統(tǒng)再查驅(qū)動(dòng)0xEF表示系統(tǒng)關(guān)鍵進(jìn)程意外退出比如wininit.exe、csrss.exe、services.exe。這類問題要分兩步看第一步確認(rèn)是哪個(gè)進(jìn)程死了、退出碼多少第二步看這個(gè)進(jìn)程死前在跑什么是不是某個(gè)驅(qū)動(dòng)引發(fā)的。參數(shù)1通常指向進(jìn)程對(duì)象參數(shù)2是退出碼。比如退出碼是0xc0000409棧緩沖區(qū)溢出那就要重點(diǎn)查是否有安全軟件或反作弊軟件在注入該進(jìn)程。0xEF還有一個(gè)常見背景是系統(tǒng)文件被破壞或系統(tǒng)盤故障我一般會(huì)先建議跑sfc /scannow和chkdsk /f再回來分析驅(qū)動(dòng)因素。0xEF比較麻煩的一點(diǎn)是進(jìn)程死了的現(xiàn)場(chǎng)往往很干凈?;厮堇锊灰欢芸吹皆獌茨K。這時(shí)候我會(huì)直接對(duì)比前后多份轉(zhuǎn)儲(chǔ)看是否有同一個(gè)驅(qū)動(dòng)反復(fù)出現(xiàn)在崩潰線程的模塊列表里。5. 踩坑記錄符號(hào)加載失敗、誤報(bào)驅(qū)動(dòng)與轉(zhuǎn)儲(chǔ)缺失的排查鏈路5.1 符號(hào)加載失敗別再被“問號(hào)堆棧”帶偏我第一次用WinDbg分析DMP時(shí)打開文件后?;厮萑???還以為轉(zhuǎn)儲(chǔ)文件壞了。實(shí)際上就是符號(hào)沒配好。排查鏈路是這樣的先輸入.sympath確認(rèn)當(dāng)前符號(hào)路徑看緩存目錄寫沒寫對(duì)檢查C:\Symbols目錄是否正在增長如果文件數(shù)在漲說明符號(hào)在下載確認(rèn)網(wǎng)絡(luò)能訪問符號(hào)服務(wù)器公司內(nèi)網(wǎng)或防火墻經(jīng)常會(huì)攔如果路徑?jīng)]問題但個(gè)別模塊還是問號(hào)執(zhí)行.reload /f強(qiáng)制重載一次仍不行就人工檢查目標(biāo)模塊的符號(hào)包去微軟符號(hào)服務(wù)器對(duì)應(yīng)頁面手動(dòng)下載。符號(hào)加載失敗時(shí)!analyze -v的輸出質(zhì)量會(huì)直線下降可能連Probably caused by都打不出來。所以遇到問號(hào)堆棧第一件事不是懷疑DMP損壞而是查符號(hào)。5.2 懷疑驅(qū)動(dòng)A卻崩在驅(qū)動(dòng)Bprobable cause的“偽證”時(shí)刻有一次一份0x50轉(zhuǎn)儲(chǔ)!analyze -v明確指向某安全軟件的監(jiān)控驅(qū)動(dòng)時(shí)間戳也合理?xiàng);厮堇镆泊_實(shí)有它。我當(dāng)時(shí)差點(diǎn)直接下結(jié)論讓用戶卸載。后來多看了兩眼發(fā)現(xiàn)真正引發(fā)崩潰的是一個(gè)磁盤過濾驅(qū)動(dòng)它釋放了一塊池內(nèi)存之后沒有把指針置空另一個(gè)模塊在用同一個(gè)指針時(shí)踩到了被釋放的區(qū)域最終崩在了安全軟件驅(qū)動(dòng)的地盤上。這個(gè)案例給我最大的教訓(xùn)是Probably caused by是“崩潰時(shí)正好在這”不代表“根因一定在這”?,F(xiàn)在我的習(xí)慣是每次得出結(jié)論前至少驗(yàn)證三處lmvm的時(shí)間戳、.ecxrkb的完整棧、全局驅(qū)動(dòng)列表里是否有異常驅(qū)動(dòng)。三者指向同一模塊才敢寫最終判斷。5.3 轉(zhuǎn)儲(chǔ)文件缺失或打不開先檢查這兩種常見原因打不開DMP最常見的原因是架構(gòu)不匹配。比如你用64位WinDbg去打開32位系統(tǒng)生成的內(nèi)核轉(zhuǎn)儲(chǔ)會(huì)報(bào)錯(cuò)或者顯示一堆亂碼。解決辦法是明確轉(zhuǎn)儲(chǔ)來源系統(tǒng)的架構(gòu)下載對(duì)應(yīng)x64或x86的調(diào)試器。轉(zhuǎn)儲(chǔ)文件缺失則要回系統(tǒng)設(shè)置里查重點(diǎn)看“啟動(dòng)和故障恢復(fù)”中的“寫入調(diào)試信息”選項(xiàng)。還有一個(gè)容易忽略的點(diǎn)系統(tǒng)盤的頁面文件必須足夠大否則藍(lán)屏瞬間寫轉(zhuǎn)儲(chǔ)失敗。有些優(yōu)化軟件為了省磁盤空間會(huì)把頁面文件設(shè)置得特別小這會(huì)導(dǎo)致藍(lán)屏了卻什么也沒留下。如果你在做批量電腦維護(hù)記得把這個(gè)選項(xiàng)單獨(dú)檢查一遍別等藍(lán)屏了才發(fā)現(xiàn)根本沒轉(zhuǎn)儲(chǔ)文件可分析。5.4 硬件問題濾鏡判斷內(nèi)存故障前先排除驅(qū)動(dòng)踩踏很多藍(lán)屏代碼尤其是0x1A、0x50、0x0A這一類表面看起來都像內(nèi)存問題。我看過太多的排查報(bào)告上來就寫“內(nèi)存故障請(qǐng)更換內(nèi)存條”。但如果你往深挖一層會(huì)發(fā)現(xiàn)不少案子里驅(qū)動(dòng)踩內(nèi)存才是根源。我的個(gè)人判斷順序是這樣先用!analyze -v和棧回溯排除驅(qū)動(dòng)因素如果確認(rèn)棧里全是系統(tǒng)模塊再考慮運(yùn)行!memanalysis看內(nèi)存池標(biāo)記內(nèi)存池也干凈才輪到硬件方向這時(shí)候建議先跑MemTest86和CPU壓力測(cè)試再做替換法。反過來也有一種情況?;厮堇锎_實(shí)指向某個(gè)驅(qū)動(dòng)模塊但這個(gè)模塊的行為異常是硬件錯(cuò)誤引發(fā)的比如CPU緩存或內(nèi)存控制器出錯(cuò)導(dǎo)致驅(qū)動(dòng)讀到錯(cuò)誤數(shù)據(jù)。這種場(chǎng)景l(fā)mvm時(shí)間戳再新也說不清。這時(shí)需要結(jié)合系統(tǒng)事件日志里有沒有WHEA硬件錯(cuò)誤記錄來判斷如果同時(shí)出現(xiàn)Event 18、Event 19這類WHEA事件那硬件因素就得優(yōu)先考慮。5.5 命令拆彈內(nèi)核轉(zhuǎn)儲(chǔ)大、分析慢時(shí)的高效技巧如果只拿到了幾個(gè)GB的MEMORY.DMP打開和波動(dòng)都很痛苦。我的建議是先用小內(nèi)存轉(zhuǎn)儲(chǔ)Minidump做快速定位絕大多數(shù)場(chǎng)景小轉(zhuǎn)儲(chǔ)的信息足夠如果一定要用完整轉(zhuǎn)儲(chǔ)打開后先輸!analyze -v別急著展開其他命令讓它慢慢跑完分析過程中可以用.logopen把輸出重定向到文件避免窗口滾動(dòng)丟失內(nèi)容遇到反復(fù)崩潰的機(jī)器別滿足于分析最新的那份把最近三五個(gè)DMP都過一遍看看崩潰模塊是否一致。如果每次都指向同一個(gè)驅(qū)動(dòng)這個(gè)證據(jù)比任何單次現(xiàn)場(chǎng)都更有說服力。另外微軟文檔里很多BugCheck頁面下面有!analyze -show的用法它可以重新顯示自動(dòng)分析結(jié)果。如果你在分析過程中把輸出刷掉了不用重新跑一遍自動(dòng)分析直接執(zhí)行這個(gè)命令就能把結(jié)論調(diào)回來。我自己還有一個(gè)習(xí)慣分析完成之后把!analyze -v、lmvm和相關(guān)?;厮莸奈谋径急4娴饺罩纠镂募伞叭掌赺BugCheck代碼_核心模塊.txt”。這樣后續(xù)再藍(lán)屏直接翻舊檔對(duì)比能省不少時(shí)間。這個(gè)系列下一篇我打算重點(diǎn)講怎么在一堆DMP里做橫向?qū)Ρ纫约叭绾螐谋罎⒓?xì)節(jié)反推“是驅(qū)動(dòng)更新問題還是硬件退化問題”。先把這一篇里的流程用熟練遇到藍(lán)屏就不會(huì)再像個(gè)無頭蒼蠅一樣亂猜了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
人妻日日夜夜精品| 蜜桃久久久久久久| 欧美不在线| 亚州久久9| 午夜亚洲国产理论秋霞| 超碰97综合在线| 精品网站9999| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 日日干夜夜欢| 东北黄色电影| 六月丁香久久| 国产中文精品一区二区在线观看| 人妻少妇精品视频一区二区三区| www.av家庭乱伦| 亚洲永久永久永久永久一级一级一级精品 | 国产精品另类| 日韩精品9999| 97这里只精品| 国产无遮挡| 超碰在线99| 国产精品久久久久久高清无码免费看 | 中文字幕 一区二区 亚洲无码| 国产成年精品高清在线观看91| 亚洲 欧美 日韩另类 麻豆| 日韩精品三区四区| 丁香五月大香蕉| 欧美日本中字另类在线| 欧美精品系列| 亚洲中文字幕在现观看| 91麻豆天美国产欧美高潮| 丰满人妻一区二区三区在线| 日韩国语字幕| 99青草| 国产又操| 日韩久久激情精品| 欧美日韩国内不卡| 欧美在线播放aaaa| 国产1769在线| 国产精品一区二区 尿失禁| 免费福利视频中文字幕| 成年人黄色视频免费| 天天干夜夜鈤| 免费视频无码| 性爱综合一区二区| 无码免费精品高清| 日韩欧美大力操| 国内毛片热久久思思热| 久久精品中文字幕观看| 国产在线激情视频| 亚洲久久久久| 欧美性爱免费短视频| 日本不卡一区二区| 久久精品毛片免费不卡| 亚洲欧洲中文日韩女优乱码| 久久免费99精品久久久久久| www.久久制服糖| 精品国产乱码久久久影院| 九九九九九九免费视频| 青青青青操国内视频在线| 亚洲做性| julia ann久久| 一本一道久久综合久久| 日韩超碰97| 舔足天天操天天射| 91精品久久久久久77777| 国产精品一区二区 尿失禁| 色乱二区| 人人妻人人操人人乐| 久久天天性久久伊人| 91艹逼精品| 欧美玖玖爱免费玖玖| 啊啊啊啊好大好硬啊啊啊啊啊 | 久久毛卡| 激激五月| 欧美 日韩 另类 亚洲| 天天看特黄的免费网站| 欲女人妻性色av| 久久有码视频| 88xx成人精品视频| 久久久成人国产精品无码| 丝袜美腿制服人妻二区中文字幕| 中亚av| 中文在线久久字幕| 精品国产乱码久久久久久网站入口| 青青草中日韩在线| 搡老女人老91妇女老熟女| 欧美日韩传媒| 欧美成人午夜免费福利785| 人妻天堂综合网| 天天天肏屄欧美| 舔舔啊| 91精品老女人| www…国产操逼| www.97在线| 人妻少妇久久| 国产JDAV无码视频在线观看| 日本高清一区二区在线| 99热在线不卡| 啊啊啊啊啊啊啊啊在线观看| 欧美一级国产一级| 少好三P| 亚洲日韩国产精品| 日本色婷婷| 国产亚洲色婷婷99精品91| 中文字幕色AV| 国产欧美精选自拍一区| 精品射1999| 欧美92| 人妻一二三区| 中文字幕人妻色偷偷久久皮| 在线二区不卡| 日韩性爱视频免费在线| 伊人网在线观看| 国产熟妇 码视频户外直播| 五月天啪啪| 欧美高清在线| 亚洲福利中文字幕在线| 91高潮喷水美女| 手机av亚洲丝袜美腿日韩第一页二页| 欧美日韩亚洲天堂| 久久久一级| 欧美天天综合在线| 亚洲综合五月天| 91久热| 亚洲精品无码久久AV| 麻豆人妻精品一区二区| 久久精品无码一区二区三区| 美女刺激久久国产欧美| 粉嫩av一区二区三区天美传媒 | 亚欧性爱ab| www.AV有限公司一区| 欧美亚洲高清| 嫩草伊人久久精品| 久久久久亚洲AV无码专区少妇| 蜜桃精品一区二区三区ww| 东北女人高潮视频| 欧美日韩电影一区二区| 蜜臀AV秘一区翔田千里| 亚洲综合一| 黄色一区二区秘书性感| 97欧美久久久久久久| 精品国产乱码久久久久久口爆网站 | 激情婷婷丁香| 日本片日本片祼观看网站在线看中文版网页在线看 | 黄色av一区二区在线| 99re综合伊人| 色婷婷电影网| 操逼A∨| 日本超碰97日韩精品人妻| 国产福利电影| 亚洲一二三四区在线免费看视频| 欧美亚洲中文字幕| 国产女人与拘做受视频免费| 91国产丝袜白虎| 五月天精品| 日韩性爱小视频| 国产AV天美| 青青伊人这里只有精品| 久久精品区| 一区二区三区日韩欧美| 久久久久久国产手机AV| 久久久久99精品成人片蜜臀| 91扒丝袜综合在线| 色官网在线| 9久热这里只有精品| 美腿色图| 日本欧美一区二区三区视频麻豆| 久热精品在线| 夜夜人妻爽| 国产综合永久精品日韩鬼片| 国产AV天美传媒一区二区三区 | 快播电影网日韩新片| 麻豆视频test| 日韩中文字幕视频在线观看| 亚洲精品国产精品成人| 青青操日韩| 午夜激情床戏激情| 国产网红精品| 超碰97人人cao| 国产97综合| 老熟女91av| 思思性爱| 视频黄色国产一级| 日韩国产精品人妻无码久久久| 天天日夜干| 久久只有精品一区二区三区| 成人精品在线| 先锋色眉乱伦资源| se吧提供国产乱老熟视频胖女人| 国产又粗又长又大的视频| 婷婷激情一区二区三区俺也去| 国产色精品午夜大片| 啪啪视频免费在线观看| 日1区2区3区2020| 91丝袜激情在线 | 很很很很操| 精品久久視頻在线| 色色色色综合网| 一级@啪啪视频| 草草草视频在线免费看| 黄色工厂这里只有精品| 青青草依人大香蕉| 成人怡红院| 91精品人妻一品二品三品| 亚洲日韩东京热一区| 亚洲熟女国产综合另类| 欧美极品女人的天堂| 超碰人人超在线观看| 国产日韩精品人妻久久久久色欲网站 | 国产 日韩 欧美一区| 久久久久深夜无码| 亚洲一二三| 青青草原综合久久大伊人精品| av一区二区三区 中文| 91老熟女视频| 手机午夜电影神马久久| 影音先锋日本乱伦| 无码精品久久| 色香色欲天天综合网天天来吧| 岛国激情视频软件| 九九精品无码专区免费| 久9视频| 超碰成人最新最好看| 成人a级高清视频在线观看| 97超碰人人模人人拍人人| 污色区网站| 国产黄色视频久久| 国产强奸乱伦xd| 国产精品嫩草久久久久| 毛片电影一区二区三区| 99热网站| 久久夜嗨| 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | 大香蕉啪啪啪| 91精品国产麻豆国产自产在| 亚州色图第三区| 操我啊啊啊啊啊| 久久久999国产精品| 五月天人妻综合| 精品制服美女中文一区二区三区| 中文字幕AV中出| 春色91| 特色a在线上| 欧美人与动性人交a| 乱伦熟女论坛| 日本高清_区二区三区| 国产免费一区在线观看| 久久一区无码| 国产精品日日摸天天碰| 中文字幕三四区| 成人无遮挡毛片免费看| 日韩精品中文字幕二区| 日韩中字av一区| 午夜福利在线合集| 91狠狠综合| 一本久道在线综合视频| 日韩精品视频在线观看一卡二卡| 国产农村妇女精品一二区| 97网址97| 偷拍综合网| 欧美大香蕉专区网| 99xav| 亚洲女人91| 日韩精品国产一区二区| 欧美熟女少妇| nuu12国产麻豆精品| Aa东京男人的天堂| 天天操夜夜操狠很操| 久草视频分类在线| 色婷婷婷五月天激情四射| 亚洲色图日韩丝袜制服一区二区五月在线| JIZZJIZZ亚洲女人被躁| 六月婷婷色综合| 91天天日| 国产1024在线播放| 青青草九九九九九| 偷拍导航视频网站| 亚洲操逼无码| 欧美999999| 91情色| 日韩精品99999| 日韩国产九九精品一区二区三区毛片| 草草草视频在线免费看| 国产九九九九九九九九| 操淫穴亚洲五月丁香| 亚洲AV无码乱码| av凤凰久久久| 伊人欧美大香蕉视频| 亚洲自拍天堂| 中文字幕第23区| 爽极品影院| 欧美专利1区2区3区4区5区免费| 日日骚av| 自慰白浆在线观看| 99re28在线观看| 岛国艾薇凹凸视频天堂| 无码视频一区二区| 日本丝袜人妻内射| 欧美97视频| 亚洲无码成人精品| 18禁久极品美女久久哦哟呀!| 久久78| 99热只有| 国产色图乱伦| 无码人妻丰满熟妇奶水区毛片| 欧美综合色图网| 色五月丁香五月| 欧美人妖内射| 五月天综合在线| 欧美少妇高潮视频| 欧美亚州手机在线| 日韩97超碰| 99热这里是精品| 中文字幕一二三av| 天天影视综合网欧美精品| 青青五月天| 91碰碰碰| 97久久综合网| 狠狠干精品一二三四五六2022| 国产91亚洲精品一区二区三区| 人人喜人人妻| 思思热久久成人| 人人摸人人舔一区二区| 五月丁香婷婷色| www欧美91| 久久黄黄| 久久久999国产| 亚洲色图国产另类| 18禁网站在线播放| 欧洲精品一区二区三区| 亚洲欧洲精品视频发布| 国产一区二区在线看| 丁香五月激情综合| 97在线观看播放视频| 久久亚洲天堂| 蜜臀久久99精品久久久老,,| 永久免费发布性爱网| 国产中文字幕在线观看| 亚洲 综合 欧美| 无码137片内射在线影院| 国产91美女视频| 色色色色色色色色色色色色色色综合| 无遮挡男女激烈动态图| 久久少妇视频| 色综合色综合网| 人妻一区二区三区四区视频| 日本道日本道中文字幕日本道最新日本道在线观看 | 国产粉嫩蜜臀av一区二区三区| 91原创在线观看| 十八禁啪啪视频| 91国内外在线| 日本一区二区三区欧美日韩中文字幕| av天堂天堂av日韩| 亚洲牲交| 久久久青青草| 蜜桃狠狠色伊人亚洲综合 | 999久久芭蕾| 久久精品欧美一区蜜桃| 性爱乱伦一区| 一区二区影院| 亚洲国产精品V?在线播放| 久超碰这里只有精品| 91色黑人少妇| 五月天婷婷色色| 福利大香蕉| 欧美日韩操逼动图| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 亚洲毛片一级带毛片基地| aV中文麻| 欧美在线l亚洲| 大香蕉啪啪网| 欧美很很操视频| 日韩极品无码B| 狠狠爱大香蕉| 97亚洲中文| 亚洲AV色图一区| 91成人国产综合久久精品蜜月| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 天天操狠狠日夜夜干超大胆开放com大香蕉视频在线观看 | 操死我干死我| 九色97| 午夜天堂啪啪| 亚洲日本成人动漫| 人妻AV 中文字幕的| 免费观看性欧美一级| 日韩在线观看三级电影| 91性网| 欧美一级黄片视频在线| 中文字幕精品区先锋资源| 国产成人在线观看网址| 青青青操| 国产免费一区| 国产情色在线| 亚洲精品乱码久久久久久蜜桃麻豆| 91最新综合| 91色欧美| 欧美综合第一页| 簧片免费看视频| 91精品无码久久久久久久| 色偷综合| 亚洲图片 激情小说| 国产污视频麻豆传媒一区二区| 狠狠中文字幕| 超碰97起碰| 国产综合网站在线播放 | 欧美综合骚| 丁香五月天堂网| 日日夜夜狠狠| 亚洲骚女一区二区三区| 99爱久久视频频| 麻豆伊人网| 一直超碰| 噜噜瑟| 午夜天天碰综合视频| 在线97在线| 亚洲欧洲第二视频在线观看色图| 久久人爽| 97这里有精品| 亚洲欧美国产中文视频| 久操凹凸视频| 久久天堂婷婷网| 精品久久在线区一区| 日本三级日本三级三级人妇四虎| 天天看人人操屄犊摸阴| 欧美激情 一区| 国产99热| 欧美综合娱乐久久| 色欲天天综合网| 色综合91| 午夜后入| 亚洲色欧美| 久久亚洲欧美中文字幕国语| 日本岛国黄色网址| 丁香六月激情| 熟女熟妇一区二区三区视频| 精品国产乱码久久| 日韩美女操b| 亚码激情| 中文字幕一区二区三区蜜桃视频| 五月天伊人网| 成人午夜视频免费播放| 久久天天躁日日躁狠狠躁| 学生妹天天看| 欧美性爱1080p| 午夜人妻精品综合在线| 午夜福利在线合集| 久久久久成人网| 内射老妇BBWX0C0CK| 黄片直播三级黄片两女一男| 天天透伊人| 国产成人五月天丁香花| 操逼不卡中文字幕| 夜夜操av亚洲一区二区| 91色婷婷综合久久中文字幕二区| 亚洲αv一区二区三区| 国产精品一区人妻精品阁在线| 69丨亚洲丨精品丨入口免费播放| 色欲久久久久综合网| 欧美一区二区亚洲天堂| 国产日韩人人| 高清国产性猛交xxxx乱大交| 大香蕉操久久| 99热线麻豆 | 综合久欧洲| 男生通女生屁股| 一级日本牲交大片好爽在线看| 五月天激情小说| 欧美丝袜中文字幕07在线| 深夜国产一区二区三区在线看| 五月天春色激情网| 人人操人人干xxx| 天天综合精品| 大逼色网站| 97精品熟女少妇一区| 欧美亚洲第1页| 综合久久97| 啊啊啊操一区| 性综合网| 97久久精品亚洲| 亚州欧美在线| 性吧在线视频| 清纯唯美亚洲| 啊啊啊啊啊操我视频| 国产精品久久久久久久无码AV| 欧美日韩情色一区二区| 91操熟女| 欧美日韩99精品麻豆传媒| 97视频在线免费观看| 啊…啊…操我用力操我| 午夜αv| 图色综合网| 国产精品福利资源在线尤物| 欧美色997| 天天操夜夜嗨| 少好三P| 影音先锋国产精品| 国产精品另类一区大香蕉| 久草免费在线一区二区| 91欧美情色| 九九热精品| 色色毛片| 小骚逼被操的爽不爽| 黄片色区软件| 日本大香蕉综合网| 宅男91视频在线播放| 91在线精品一区二区三区| 日韩噜噜69| 久久久精品成人国产| 天堂网亚洲区手机版| 久久久蜜桃一区二区三区| www.久久制服糖| 操淫穴亚洲五月丁香| 久久 国产精品 一区| 成人免费性爱视视| 国产自产22区| 亚洲nv男人的天堂网| 亚洲精品国产无码高清| 东京男人天堂| 欧美自拍网| 午夜精品久久久99| 丰满的三级少妇欧美久久久| 热99这里有精品综合久久 | 欧插网站| 欧美性生活免费网| 精品久久9| 极品丝袜无码| 国产做?爰片久久毛片?片美国| 久久精品国产亚洲粉嫩| 国产诱惑| 天天弄欧美| 青娱乐日韩无码| AV麻豆免费一区| 青青五月天| 天天躁狠狠躁av| 国产又黄又猛又粗又爽的网站| 亚洲女毛多水多21P| 国产强奸乱伦第1页| 欧美91色| 熟妇亚洲一区二区三区| 99色在线视频| 欧洲成人性爱视频| 欧美丝袜亚洲| 丰满熟女人妻一区二区三五十一路| 青青青操| 超碰av人人人| 中文字幕永久在线| 在线人人人人人人精品超| 少妇综合网| 狠狠入| 啊啊在线| 无卡一区=区| 97超级欧美| 一区二区三区日韩欧美| 夜夜爽爽爽| 欧美综合区| 国产乱码精品一区二区三区四川| 亚洲成人精品在线一区| 免费精品无码一级毛片牛牛影视| 亚洲精品少妇| 99热这里只有精品18| 亚洲少妇自拍中文字幕懂色| 久久久久亚洲精品| 久久一二三四不卡 | 久久久久国色αv免费观看| 欧美色图99| 少妇丝袜在线观看AV| 先锋音影AV| 欧美亚洲日韩16色| 国产成人天堂| 欧美成人综合| 狠狠干2020| 超碰午夜| 天天在线91| 91日产桃蜜| 91成人精品| 亚洲黄色电影| 中文字幕一区二区三区人妻不卡 | 香蕉精品二区二区| 麻豆AV一区二区天美传媒| 午夜福利合集| 欧美影院一区二区三区| 亚洲av性爱电影| 日韩免费av片高清无码| 人妻 中文 日韩| 亚洲无码?第一页| 一级久久久久久久久久久| 日韩性爱播放| 黄色网址久久精品欧美喷水| 亚洲国产精品乱码在线观看| 天堂精品小草| 国产精品午夜福利视频| 欧美亚洲清纯| 超碰 国产熟女精品一区| 99精品九九九九九九| 欧美性夜| 强奸抽插av| 日韩精品在线观看观看| 91在线精品| 99热色精品| 激情亚洲天堂| 99最新日韩偷拍视频| 国产激情在线| 曰韩操B| 国产性感在线观看| 狠狠2050在线观看| 日本一区不卡| 日韩欧美aⅴ综合网站发布| 国产粉嫩出水在线播放| 天天狠| 91美女視頻| www国产精品| 亚洲精品性爱片| 男女激情黄色网址| av在线人气| 九一国产精品| 日本阿v天堂在线观看| 欧美精品久久久久久久久88| 成年女人一区| 9997se| 伦激情人妻另类人妻| 天天肏夜夜肏| 久久綜合很很很| www男人天堂| αⅴ天堂| 国产人妻精品久久久一区二区三区| 亚洲欧美精品久| 欧美精品69性爱| 国产精品青草综合久久| 一区二区蜜臀| 强被迫伦姧在线观看无码网站| 日本肉体xxxx裸交| 欧美日韩亚洲五月天婷婷| 色图综合网| 日韩九区| 操少妞在线视频| 国产精品久久久久无码A√| 亚洲夜色在线| 亚洲欧美91| 日本亚洲熟女视频| 久久人体一区二区| 欧美精品99久久久**| 欧美精品双插| 国产精品美女视频诱惑| 四虎影视永久在线免费| 热久日综合| 欧美一级黄色免费专区| 国产乱码久久| 亚洲精品久久久久久久蜜桃臀| 亚卅熟女乱色| 国产乱婷婷精品二区三区| 欧美亚洲手机在线| 九九Av| 97久久国产精品女不卡| 无套内射性感少妇视频| 天天天操天天天爱| 日本日皮视频逼| 免费99精品国产自在在线| 日韩中文字幕精品一区在线| 裸体美女久久久| 国产亚洲精品无码三区| 欧美亚洲一区二区久久久婷精品大包诱| 国产精品九九九| 91九久| 欧美天天综合在线| 人人妻人人操人人乐| 欧美性爱一区二区| 女一区二区| 中国操逼无码| 大肉棒导航| 婷婷视频在线免费观看| 综合色久欲| 日本三级日本三级99| 99热这里只有精品18| 久久久蜜桃一区二区三区| 长久操视频| 婷婷操逼| 神马久久久久久| 亚洲视频小说| 亚洲天堂无码| 欧美碰碰综合色| 男人的天堂.com| 国产在线视频二区| 五月天亚洲网| 天天色悠悠激情| 性饥渴少妇av无码毛片| 成人在线视频一区| 色婷婷六月| 午夜精品久久一区二区| 男女91| 新版天堂中文资源8在线| 99re这里只有精品2| 人人射人人操人人摸| 欧日韩一二三f区| 一区 欧美 日韩 麻豆| 久久av一级av少妇av高潮| 日本在线15p| 日本免费一区二| 中文字幕精品日韩中文字幕| 色噜噜人妻av中文字幕| 日韩天堂av电影在线观看| 国产a片操逼| 清纯唯美综合| 青青欧洲黑| 农村妇女一级二级三级视频| 国产一级137片内射麻豆| 99少妇| 精产国品一区二三产品| 一起草精品人妻| 黄色香蕉视频网站一区| 丝袜美腿丝袜| 91性生活久久久| 色五月综合| 欧美大香蕉同搞| 天天伊人| 一卡二卡三卡| 蜜屁Av| 91ise欧美| 丁香五月色| 岛国免费黄色网址| 日韩无码一区二区三区| 老熟乱一区二区三区四区| 欧美少妇内射| 国产精品青草综合久久| 亚洲黄色a级片| 26uuu久久| 中文乱码字幕观看| 淫纸中9区| 欧美激情色婷婷花野真衣一区二区| 99国产精品人妻人伦| 欧美v亚洲v日韩v最新在线二区| 亚洲中字幕日本一区二区三区| 久久熟女嫩草成人片免费| www超碰| 少妇高潮特黄A片| 日本成人免费一区二区三区| 亚洲欧洲激情卡通另类文学四射小说网站 | 国产视频人人网| 啊啊啊啊啊好舒服视频| 性爱AV天堂| 7月婷婷综合| 日本精品成人无码| 国产成人无码网站在线视频| 乱伦图一区| 翔田千里无码一区| 波多野结衣之双飞调教在线播放 | 久久色人体 | 99色婷婷中文字幕乱色| 91精品人妻一区二区三区蜜桃臀| 国产天天骚| 综合色图,成人综合网| 丁香五月成人| 夜色五月天| 欧美日韩丝袜 | 国产精品人妻免费精品| 中欧人妻丝袜中文字幕| 97超碰欧美中文字幕| 美女黄网| 亚洲无码电影久久久| 亚洲色性| 91天天| 日韩av性爱在线播放| 国产精品4p在线观看| 狠狠操天天干| 久久精品一区二区三区不卡| 麻豆亚洲Av成人无码一区精品| 男人天堂2012| 亚洲熟女中文字幕在线| 国产激情在线| 久久久婷| 91老司机在线视频免费观看| 婷婷五月天影院| 91久久国产综合久久| 爱爱动态120秒| 亚洲熟妇无码一区二区三区| 日欧毛片久久| 日韩人人精品| 综合久久2017| 久久久久久久九九九九九九| 一本久道在线综合视频| 亚洲黄色a级片| 密桃99999| 亚洲狼狼干综合1| 天天摸天天舔天天操| 亚洲黄色电影| 国内精品嫩模A∨私拍小视频| 婷婷久月| 亚洲蜜乳av| 午夜天堂啪啪| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 色就色综合| 亚洲精品人妻吞精av| 97亚洲综合电影| 欧美在线视频播放| 中文字幕后石码四区五区| 操逼逼一区视频| 欧美精品999| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 精品久久青青草| 欧天美中出| 97天天摸天天爽| 国产女同视频在线播放| 婷婷色婷婷| 91AV天美在线视频| 亚洲天天操| 国产精品久久久鸭无码的功能| 欧苏综合色综合| 中文字幕一区二区三四五区日日骚| 农村妇女精品一二区| 小视频玖玖| 啊…啊…操我用力操我| 男人的天堂久久狠| 操国产逼| 18禁超污无遮挡无码免费网| 2019AV天堂| 人妻精品一区二区三区| 超碰在线人人射| 国产精品久久久久av| 97久久免费| 天天影视色香欲综合网小说| 最新日产中文在线麻豆| 熟妇视频一区二区三区在线观看| 精品美女少妇一区二区| 免费一级a毛片久久久久久鸭绿欲| 九九碰九九爱97| 午夜久久久| 国产中文字幕在线点播| 大胆91| 国产一区在线看| 艹比视频国产精品| 神马午夜久久久| 91综合网| 国产一区二区啪啪视频| se,,,亚洲欧美| 69国产对白刺激| 啊啊啊啊啊啊在线看| 亚洲a色| 欧美日韩岛国大片在线观看| 精品二区三四区五电影 | 在线黄色污污网站| 26uuu国产亚洲综合| 天综合中文| 亚洲一区二区av| 欧美在线视频99| 欧美日韩不卡传媒| 亚洲熟女av日韩熟女| 爱丝福利| 日韩在线观看字幕精品| 亚洲自拍欧美色综合| 精品偷拍13p欧美dodk视频| 精品176精品2| 国产精品不卡一区二区电影| 亚洲91av| 秋霞怕怕片| 男插女青青影院| 91亚洲色人| 99蜜桃臀亚洲成人在线观看| 激情抓乳插进去啪啪啪日韩| 欧洲乱码视频| 国产在线激情视频| 国产二区三区粉嫩在线| 综合久久六月久久婷婷| 视频在线中文字幕| 国产91福利小视频在线观看| 大吊色| 五月婷网站| 五月天日日操夜夜操| 99色在线视频| 葡萄牙性视频一二区| 九九精品美女高溯喷水| 黄页| 欧美色图天堂网m| 日本色色视频网站| 东北操逼| 大香网伊人久久综合| 亚洲 欧美 色图| 清纯唯美激情四射| 少妇一级婬片免费放一级a性色.| 超碰97最新人妻| 综合婷婷| 最新亚洲黄色免费电影| 欧美91精彩| 五月天丁香| 日韩激情无码影院| 亚洲亚洲亚洲天堂天堂| 精品久久久久久亚洲| 精品国产一区探花在线观看| 91色堂| 97人人草| 欧美精品23| 美女黄页网站| 91中文精品日韩欧美在线 | 日产成人久久| 99热精品在线| 99久久精品无码一区二区毛片免费| 福利大香蕉| 又黄又爽在线观看视频| 日本性爱欧美性爱| 国产精品9999| 老女人老91妇女老热女| 欧美|91色综合| 口爆吞精在线观看| 91国模| 久久久内射良家| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 欧美性爱一级操| 国产9 9在线 | 亚洲| 啊啊啊男女| 操美女人妻| 91人妻超碰| 亚洲强奸乱伦影视网| 国产又黄又爽| 91中出视频| 欧美一区二区三区黄色影视| 成人在线视频二区| 99色婷婷| 加勒比久久综合网高清| 在线午夜成人无码视频| 欧美伊人电影| 亚洲熟女偷拍在线观看| 亚洲综合网图| 欧美在线官网| 99热这里只有精品9| 啊啊啊男女| 99国内熟女露脸视频| 在线人妻熟女一区二区三区四区五区| 韩国一级婬片A片AAAAA| 亚洲天堂一区二区久久| 97操| 亚洲婷婷综合网| 加勒比99999| 91老熟女老女人国产老太| 97 视频在线| 白丝1区2区3区| 亚洲精品819| 中文字幕在线观看丝袜| 性爱精品一区| 秋霞影音一区二区三区| 国产成人精品必看| 精品熟女呻吟久久91| 日比av无码| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 97久久国产亚洲精品超碰热| 嫩草 人人网精品| 亚洲av热热色| 中文字幕丝袜美腿| 麻豆精品A片免费观看| 91在线限制级| 日韩钢筋无码高清啾啾啾| 日韩综合97p| 一中国女人毛片水真多| 欧美国产日韩清纯唯美| 婷婷五月天在线观看| 欧美99热| 亚洲国男人的天堂| 97九色人妻| 亚洲日产专区| 久热精品色情| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 暖暖精品二区三区观看| 人夜夜精品网站香蕉嫩草| 99青草| 四虎永久在线精品免费网址| 中文字幕丝袜美腿| 黄网站黄视频网站进入口| 麻豆AV短剧| 超碰视97中文| 国产激情在线| 日韩欧美福利视频看看| 国产美女口爆吞精视频| 亚洲 欧美 制服 另类 自拍| 综合久久六月久久婷婷| 日本午夜精品理论片A级APP发布| 天天爽天天操| 天堂日本亚洲欧美| 国产欧美美女免费观看视频| 天天舔九色婷婷| 91男同| 伊人操| 日韩极品无码B| 熟妇操花| 欧美综合骚| 中文字幕伊人| 青草地一本线一区二区三区| 综合影院永久入口国产| 人人爱人人操人人性| **一级毛片国产| 97欧美精品综合| 97天天在线| 91黑人狂躁丰满熟妇| 国产极品粉嫩馒头一线天av| 在线观看黄色电话| 熟妇女人妻呻吟久久AV| 中国黑人三级片网站上区| 国产精品3| 人爽不卡视频| 成人午夜小视频手机在线看| 欧美激情五月天| 97国产伦理| 92一区二区| 日日操丁香五月天| 亚洲AO在线| 熟女一区二区三区四区| 天天上日日上日韩精品| 久久婷婷综合国际产色怕| 色香阁在线| 亚洲天堂一二| 91人妻最真实刺激绿帽| 久操黄色视频| 中文字幕午夜精品久久久| 欧美亚洲天堂| 99操逼| 成人在线永久| 偷拍 欧美 日韩| 精品国产久热在线观看| 日少妇亚洲版| 亚洲欧美色图| 四虎影院成年人片| A一级色女| 大香蕉免费3| 中文字幕 人妻不满 在线视频| 日韩精品国模| 亚洲成人精品在线一区| 又大又黄国产| 久久东京热成人| 岛国免费视频在线| 97九色人妻| 久久日韩肥臀| 亚洲熟女中文字幕在线| 91美女色视频亚洲| 精品国产乱码久久久| 一区二区三区精品视频| 黄色不卡视频| 久久成人国产精品| 69人妻人人揉人人躁人人精品| 欧美亚洲高清不卡| 亚欧成人综合影院| 欧美亚洲一区二区久久久婷精品大包诱| 亚洲色宗合| 97色婷婷| www.av不卡中文字幕| 欧美一级黄色18片免费看| 青青草色情网站视频| 一级@啪啪视频| 久久男人网| 欧美成97爱| 久久精品一区二区三区不卡| 久久久免费高清中文视频| AAA久久| 欧美成人贴图| 国产又猛又粗又爽又黄| 麻豆 亚洲 97| 涩涩涩综合| 久久原创中文| 91艹B视频| 久久成人午夜狠狠| 亚洲一区二区精品福利| 亚洲涩图欧美| 丁香五月自拍| BBBBB97COM| 久久久久久久九九九九九九| 97超碰人妻| 婷婷伊人綜合中文字幕| 超碰97护士| 欧美日韩夜夜| 岛国片在线视频网站| 久久久久久久久久久久黄色| 自拍偷拍 高清无码| 内射卯月麻衣| 九九黄色视频在线观看| 精品日日人妻| 又黄又爽在线观看视频| 一级人妻性爱视频| 麻豆精品天美| 综合av社区| 精品欧美日韩在线观看| 偷窥自拍A片| 秋霞色色影院| 97欧美色资源| 99热这里是精品| 九九九九九九视频免费| 欧美成人9797| 九月丁香婷婷色| 婷婷九月国产| 久久久久久夜夜夜夜夜| 日韩无码精品综合久久| 91l欧美在线| 在线观看日韩av不卡| 蜜臀99精品国产高清在线观看| 75大香蕉| 日韩成人大片一区二区| 亚洲本色精品一区二区久久| 久久久久ab| 男人a天堂手机在线版| 99re98| 狠狠亚洲| 又大又长又爽| 3d成人精品一区二区| 亚洲熟女人妻中文字幕一区二区| 精品国产一区二区三区久久久蜜臀| 国内毛片热久久思思热| 日日干日日摸| 久久久久久91香蕉国产| 另类在线| 十八禁av无码免费网站APP| 精品对白久久不卡| 91久久久老司机| 国岛片视频| 澳门黄片一香蕉视频| 婷婷精品久久av影视| 美欧老女人97| 99热官网| 国产精品成人无码av| 免费看片黄| 99这里都是精品| 欧美激情视频一区二区三区不卡| 国内91熟女人妻丝袜天天精品视频在线| 色色激情| 俄罗斯一区二区视频在线观看| 久9爱精品| 九九九九九九九九九五码| 亚洲五月丁香花狠狠干一区二区三区| 国产精品极品美女视频| 久久老女人| 亚洲高清欧美总合| 久久久99999久网站| 激情亚洲天堂| 亚洲AV小说| 99综合网| 亚洲一区二区中文字幕| 91亚洲人| 97chaopengongkai| 国产风韵犹存熟妇三区| 久久99草| 婷婷色香| 欧美亚洲丝袜美女电影| 青青草中文-久久青草精品一区二区三| 久久综合精品一区二区三区| 丁香六月激情| 激情五月综合网| 天天操天天舔| 1769一区| 色综合国产在线观看| 超碰97欧美| 激情五月天中文字幕色| 手机在线大香蕉| 国产又粗又长视频| 91欧| 久久精品六区| 亚洲风情在线观看| 大逼色网站| 久久色精品视频在线| 密臀在线一区尤物| 欧美手机在线综合| 蜜臀va69| 亚洲成人妻日韩在线| 中字一区| 曰本道人妻久久久在线不卡色视频| 麻豆区久久久久亚| 国产中文字幕在线| 九九九九热只有精品|