久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

嵌入式系統(tǒng)死鎖全解析:從四個(gè)必要條件到銀行家算法排查實(shí)戰(zhàn)

嵌入式系統(tǒng)死鎖全解析:從四個(gè)必要條件到銀行家算法排查實(shí)戰(zhàn) 1. 從一次現(xiàn)場(chǎng)卡死說起死鎖到底鎖住了什么做嵌入式開發(fā)的朋友尤其是搞過RTOS多任務(wù)系統(tǒng)的基本都遇到過這種讓人頭皮發(fā)麻的場(chǎng)景板子跑著跑著某個(gè)任務(wù)突然不調(diào)度了看門狗嗷嗷叫串口打印停在半句話上按鍵沒反應(yīng)LED保持最后一個(gè)狀態(tài)。第一反應(yīng)是程序飛了或者棧溢出了結(jié)果一查既不是HardFault也不是內(nèi)存踩踏而是兩個(gè)任務(wù)互相握著對(duì)方需要的資源誰也不撒手活活把系統(tǒng)鎖死了。這就是死鎖英文叫Deadlock。在計(jì)算機(jī)四級(jí)嵌入式考試的操作系統(tǒng)原理部分死鎖是一個(gè)反復(fù)出現(xiàn)的核心考點(diǎn)同時(shí)也是嵌入式工程里最容易翻車的問題之一。我記得當(dāng)年備考的時(shí)候把死鎖的四個(gè)必要條件背得滾瓜爛熟但真正在項(xiàng)目里定位死鎖才發(fā)現(xiàn)紙上得來終覺淺考試考的是概念項(xiàng)目考的是眼力。這篇文章我想把死鎖這件事徹底講透從理論定義、四個(gè)必要條件到銀行家算法的手工推演再到嵌入式場(chǎng)景下如何預(yù)防、檢測(cè)、定位和解除。不光是給準(zhǔn)備四級(jí)考試的同學(xué)梳理考點(diǎn)也給正在被項(xiàng)目里偶發(fā)死鎖折磨的工程師一些可以直接上手的排查思路。死鎖一旦理解通透你看代碼的視角會(huì)完全不一樣——看到一個(gè)任務(wù)持鎖后再去申請(qǐng)另一個(gè)鎖你會(huì)本能地停下來問一句這個(gè)順序別的任務(wù)是不是也一致2. 死鎖的本質(zhì)與四個(gè)必要條件缺一不可的死亡組合先明確一個(gè)概念死鎖不是程序崩潰而是一組任務(wù)或線程彼此等待對(duì)方占用的資源導(dǎo)致所有相關(guān)任務(wù)都無法繼續(xù)推進(jìn)的狀態(tài)。它最隱蔽的地方在于系統(tǒng)表面上還活著——中斷能響應(yīng)、內(nèi)存沒爆、CPU占用率可能還是正常的但業(yè)務(wù)邏輯已經(jīng)徹底停擺。操作系統(tǒng)教材里對(duì)死鎖的定義非常嚴(yán)格只有當(dāng)互斥、持有并等待、不可剝奪、循環(huán)等待這四個(gè)條件同時(shí)滿足時(shí)死鎖才會(huì)發(fā)生。這四件事缺一個(gè)死鎖就形不成。這個(gè)表述不光是考試要考的默寫題更是工程排查的索引——你只要打破其中任何一個(gè)條件死鎖就能解開。**互斥條件Mutual Exclusion**好理解就是指資源同一時(shí)刻只能被一個(gè)任務(wù)獨(dú)占使用。嵌入式里的典型互斥資源就是互斥鎖Mutex、硬件外設(shè)比如UART、SPI、I2C總線還有DMA通道、Flash寫操作。這些資源天生就不能同時(shí)共享這是問題產(chǎn)生的土壤。**持有并等待Hold and Wait**指的是任務(wù)已經(jīng)握住了一個(gè)資源同時(shí)又在等待另一個(gè)資源釋放。用代碼翻譯就是任務(wù)A拿到了鎖1還沒釋放接著去請(qǐng)求鎖2。如果鎖2恰好被任務(wù)B拿著而任務(wù)B又在等鎖1那么兩個(gè)任務(wù)就進(jìn)入了一種誰也動(dòng)彈不得的僵局。**不可剝奪No Preemption**是說任務(wù)持有的資源不能被操作系統(tǒng)強(qiáng)行搶走只能由持有者主動(dòng)釋放。這在嵌入式RTOS里幾乎是默認(rèn)規(guī)則——你沒法從一個(gè)持有互斥鎖的任務(wù)手中硬把鎖搶過來哪怕那個(gè)任務(wù)優(yōu)先級(jí)更低。正是這個(gè)不可剝奪才讓循環(huán)等待能夠真正形成閉環(huán)。**循環(huán)等待Circular Wait**是四個(gè)條件里最直觀也最好判斷的存在一個(gè)任務(wù)集合 {T1, T2, ..., Tn}T1等T2占的資源T2等T3占的資源以此類推Tn等T1占的資源形成一個(gè)環(huán)。嵌入式里最常見的環(huán)就是兩個(gè)任務(wù)互相等對(duì)方的鎖代碼上看就是A鎖里申請(qǐng)B鎖B鎖里申請(qǐng)A鎖。這四者之間存在嚴(yán)格的邏輯關(guān)系互斥是前提持有并等待是過程不可剝奪是制度空缺循環(huán)等待是最終形態(tài)。實(shí)際項(xiàng)目里判斷是否發(fā)生死鎖我習(xí)慣先畫等待圖——每個(gè)任務(wù)畫一個(gè)節(jié)點(diǎn)任務(wù)如果正在等待某個(gè)資源就把資源指向任務(wù)這條邊畫出來。只要圖中出現(xiàn)了環(huán)死鎖就必然存在。這個(gè)判斷方法在第四級(jí)考試?yán)镆步?jīng)常以判斷系統(tǒng)是否處于死鎖狀態(tài)的形式出現(xiàn)本質(zhì)上就是考你有沒有建立圖中有環(huán)即死鎖的直覺。3. 事前預(yù)防破壞四個(gè)條件的工程化打法對(duì)嵌入式系統(tǒng)來說死鎖的預(yù)防遠(yuǎn)比事后處理更重要。原因很現(xiàn)實(shí)很多設(shè)備部署在現(xiàn)場(chǎng)之后你根本沒法遠(yuǎn)程按解除死鎖按鈕。所以我做項(xiàng)目時(shí)的原則是在寫代碼階段就把四條路堵死。考試?yán)锇堰@部分叫死鎖預(yù)防工程上就是一套具體的編碼規(guī)約。第一條路破壞互斥條件。說實(shí)話這條路在嵌入式里最難走因?yàn)榛コ怄i存在的意義恰恰就是保證互斥。但換個(gè)角度想有些資源并不是天生必須互斥的比如一塊數(shù)據(jù)緩沖區(qū)如果改成無鎖設(shè)計(jì)——用環(huán)形隊(duì)列加原子讀改寫操作讓生產(chǎn)者和消費(fèi)者并發(fā)訪問而不互相阻塞——那互斥條件自然就不存在了。我見過不少項(xiàng)目里用消息隊(duì)列給任務(wù)間傳數(shù)據(jù)本來隊(duì)列本身就帶互斥保護(hù)結(jié)果有人又額外套了一把全局鎖純屬畫蛇添足反而增加了死鎖風(fēng)險(xiǎn)。**第二條路破壞持有并等待。**做法是要求任務(wù)在執(zhí)行臨界區(qū)之前一次性申請(qǐng)所有需要的資源申請(qǐng)不到就一個(gè)都不拿。聽起來很美但在嵌入式里操作難度極大資源數(shù)量往往是運(yùn)行期才確定的你沒法提前知道任務(wù)跑起來后要申請(qǐng)幾把鎖而且一次占用多個(gè)資源會(huì)降低系統(tǒng)的并發(fā)度這對(duì)實(shí)時(shí)性要求高的場(chǎng)景很不友好。我在實(shí)際項(xiàng)目里幾乎不用這種方案但考試?yán)锼鳛闃?biāo)準(zhǔn)預(yù)防策略必須會(huì)答。第三條路破壞不可剝奪。這是嵌入式RTOS里最常用的思路之一。做法是如果任務(wù)拿著鎖A去申請(qǐng)鎖B但鎖B被別的任務(wù)占用且等待超過一定時(shí)間系統(tǒng)允許把鎖A臨時(shí)讓出來重新排隊(duì)。說得再具體一點(diǎn)很多RTOS內(nèi)核里實(shí)現(xiàn)的互斥鎖超時(shí)機(jī)制就是這種思想pthread_mutex_timedlockPOSIX環(huán)境下或者RTOS自帶的帶超時(shí)參數(shù)的上鎖接口在規(guī)定時(shí)間內(nèi)拿不到鎖就返回錯(cuò)誤碼任務(wù)該干嘛干嘛而不是無休止地阻塞。破壞不可剝奪還有一個(gè)更實(shí)用的變體叫優(yōu)先級(jí)繼承。雖然它主要是為解決優(yōu)先級(jí)反轉(zhuǎn)問題提出的但客觀上也能降低死鎖發(fā)生的概率——低優(yōu)先級(jí)任務(wù)持有鎖時(shí)如果高優(yōu)先級(jí)任務(wù)來等這把鎖系統(tǒng)臨時(shí)把低優(yōu)先級(jí)任務(wù)的優(yōu)先級(jí)抬高讓它更快跑完并釋放鎖這樣等待的時(shí)間窗口被大幅壓縮死鎖的溫床就變小了。**第四條路破壞循環(huán)等待。**這是工程上最實(shí)用、最好落地的一條核心就八個(gè)字給資源編號(hào)按序申請(qǐng)。比如項(xiàng)目里有三把鎖編號(hào)Lock_A 1、Lock_B 2、Lock_C 3規(guī)約要求所有任務(wù)必須嚴(yán)格按從小到大的順序申請(qǐng)鎖——先拿Lock_A才能去拿Lock_B絕不能先拿Lock_B再回頭要Lock_A。這樣所有任務(wù)的申請(qǐng)序列都是同一個(gè)偏序關(guān)系環(huán)路根本構(gòu)造不出來循環(huán)等待不攻自破。注意資源排序法對(duì)同一類資源有效如果系統(tǒng)里有多組不同類型的資源需要分別制定全局統(tǒng)一的順序。我在一個(gè)小項(xiàng)目里就吃過虧當(dāng)時(shí)協(xié)議棧和業(yè)務(wù)模塊各自維護(hù)了一套鎖編號(hào)兩套編號(hào)互不通氣結(jié)果一個(gè)任務(wù)先在協(xié)議棧里按協(xié)議棧的序拿了鎖又在業(yè)務(wù)模塊里按業(yè)務(wù)模塊的序去拿鎖另一個(gè)任務(wù)正好相反環(huán)形等待依然存在。后來改成全局一張編號(hào)表這個(gè)問題才斷根。4. 動(dòng)態(tài)避免銀行家算法的原理與手工推演死鎖預(yù)防屬于靜態(tài)防御總是限制資源的使用方式過于保守。而死鎖避免走的是另一條路允許任務(wù)自由申請(qǐng)資源但在每次分配之前先做一次安全性檢查只有確認(rèn)分配后系統(tǒng)不會(huì)進(jìn)入不安全狀態(tài)才真正把資源給出去。這部分最經(jīng)典的就是銀行家算法Bankers Algorithm這也是四級(jí)考試?yán)镒羁赡艹鲇?jì)算題的知識(shí)點(diǎn)我建議各位一定要親手推演一遍。先解釋一下算法名字的由來。銀行家在給客戶放貸時(shí)不會(huì)一次性把所有資金都貸出去要留一部分現(xiàn)金保證其他客戶隨時(shí)取款。操作系統(tǒng)扮演的就是這個(gè)銀行家角色手里的資源就是現(xiàn)金池任務(wù)就是客戶任務(wù)聲明的最大需求就是貸款額度。安全狀態(tài)的定義是存在一個(gè)分配序列使得按照這個(gè)序列依次推進(jìn)每個(gè)任務(wù)最終都能拿到它需要的全部資源并運(yùn)行結(jié)束。這個(gè)序列就叫安全序列。算法本身分兩步。第一步是資源分配前的檢查任務(wù)T申請(qǐng)資源后系統(tǒng)先假裝分配給它如果分配后的剩余資源不能滿足任何任務(wù)的最大需求而不是僅僅考慮當(dāng)前申請(qǐng)那就不批準(zhǔn)這次分配。第二步是安全性算法就是找安全序列的流程。我拿一個(gè)簡(jiǎn)化例子走一遍。假設(shè)系統(tǒng)里有三類資源A、B、C總量分別是(10, 5, 7)當(dāng)前有5個(gè)任務(wù)T1到T5。它們的需求矩陣如下考試和實(shí)際分析里通常這樣列表任務(wù)最大需求(A,B,C)已分配(A,B,C)還需(A,B,C)T1(7, 5, 3)(0, 1, 0)(7, 4, 3)T2(3, 2, 2)(2, 0, 0)(1, 2, 2)T3(9, 0, 2)(3, 0, 2)(6, 0, 0)T4(2, 2, 2)(2, 1, 1)(0, 1, 1)T5(4, 3, 3)(0, 0, 2)(4, 3, 1)先算可用資源向量。總資源減去所有已分配資源A類10 - (02320) 3B類5 - (10010) 3C類7 - (00212) 2所以Available (3, 3, 2)。然后找還需向量里每一項(xiàng)都 ≤ Available的任務(wù)。T2的還需是(1, 2, 2)都不超過(3, 3, 2)滿足條件。T4還需(0, 1, 1)也滿足。實(shí)際嘗試的時(shí)候選哪個(gè)都行但為了演示規(guī)范流程我選T2先跑。先把T2標(biāo)記為可完成T2運(yùn)行結(jié)束后釋放它占用的全部資源也就是把(2, 0, 0)加回到Available(32, 30, 20) (5, 3, 2)。接著繼續(xù)尋找下一個(gè)滿足條件的任務(wù)。此時(shí)T4還需(0, 1, 1)Available是(5, 3, 2)顯然滿足。讓T4結(jié)束釋放(2, 1, 1)(52, 31, 21) (7, 4, 3)。再看T1還需(7, 4, 3)正好等于Available(7, 4, 3)滿足。T1結(jié)束后釋放(0, 1, 0)(7, 5, 3)。接著T3還需(6, 0, 0)小于(7, 5, 3)滿足。釋放(3, 0, 2)(10, 5, 5)。最后T5還需(4, 3, 1)滿足釋放(0, 0, 2)系統(tǒng)資源回到接近初始總量。這樣得到的安全序列就是T2 → T4 → T1 → T3 → T5。說明當(dāng)前系統(tǒng)處于安全狀態(tài)可以批準(zhǔn)分配。實(shí)際手算的時(shí)候有個(gè)小技巧優(yōu)先找還需資源量最小的任務(wù)先完成這樣釋放出來的資源最多后面的判斷最寬松。另外要特別注意還需 最大 - 已分配考試?yán)锝?jīng)常不直接給還需列要自己先算出來。銀行家算法的本質(zhì)是以退為進(jìn)它允許系統(tǒng)進(jìn)入一個(gè)看似資源緊張的中間狀態(tài)但保證只要有任務(wù)完成就一定存在一條出路。要注意它是在線算法每次分配請(qǐng)求都要跑一遍安全性檢查復(fù)雜度是O(n2×m)級(jí)別——n是任務(wù)數(shù)m是資源類型數(shù)。嵌入式系統(tǒng)里任務(wù)數(shù)量動(dòng)輒幾十上百資源類型也多每次都跑全量檢查在實(shí)時(shí)性上根本扛不住。所以工業(yè)級(jí)的RTOS較少完整實(shí)現(xiàn)銀行家算法更多是基于優(yōu)先級(jí)、基于超時(shí)的啟發(fā)式策略。但考試?yán)锼騺硎侵攸c(diǎn)計(jì)算題原理必須吃透。5. 事后處理死鎖的檢測(cè)與現(xiàn)場(chǎng)恢復(fù)哪怕預(yù)防做得再好實(shí)際項(xiàng)目里還是會(huì)有漏網(wǎng)之魚——比如第三方庫(kù)的代碼不是你寫的你不知道它內(nèi)部鎖的申請(qǐng)順序再比如中斷里偶發(fā)地調(diào)用了一個(gè)可能阻塞的API正好和任務(wù)形成競(jìng)爭(zhēng)。這時(shí)候就需要死鎖檢測(cè)機(jī)制以及檢測(cè)到死鎖后的恢復(fù)策略。嵌入式RTOS內(nèi)核里比較常見的是周期性檢測(cè)內(nèi)核維護(hù)一張資源分配表每運(yùn)行一小段時(shí)間就掃描一遍用類似資源分配圖的方法檢查是否出現(xiàn)環(huán)路。一旦檢測(cè)到死鎖處理策略通常有以下幾種直接任務(wù)終止。這是最簡(jiǎn)單粗暴的。系統(tǒng)檢測(cè)到死鎖后從造成死鎖的任務(wù)集合里挑一個(gè)犧牲品——一般是優(yōu)先級(jí)最低的或者運(yùn)行影響最小的——直接把它的資源全部回收。壞處很明顯被終止的任務(wù)如果是跑關(guān)鍵業(yè)務(wù)的系統(tǒng)狀態(tài)可能已經(jīng)不一致了。所以很多系統(tǒng)不會(huì)真的終止任務(wù)而是強(qiáng)制釋放鎖并讓該任務(wù)從阻塞態(tài)返回錯(cuò)誤碼由業(yè)務(wù)層決定怎么補(bǔ)償。資源搶占與回滾。這是相對(duì)溫和的辦法把某個(gè)任務(wù)占用的資源強(qiáng)行剝奪讓另一個(gè)等待它的任務(wù)先跑等被搶占的任務(wù)再次恢復(fù)時(shí)從檢查點(diǎn)checkpoint重新執(zhí)行?;貪L機(jī)制對(duì)嵌入式系統(tǒng)來說實(shí)現(xiàn)成本比較高需要額外保存任務(wù)的上下文和中間狀態(tài)所以一般只在可靠性要求極高的航空、軌交、醫(yī)療設(shè)備里才會(huì)做全套??撮T狗兜底。這是嵌入式里最常見也最實(shí)用的最后一道防線。硬件看門狗或軟件看門狗周期性地檢查各個(gè)關(guān)鍵任務(wù)是否還在喂狗——也就是定期刷新一個(gè)時(shí)間戳。如果某個(gè)任務(wù)超過設(shè)定的時(shí)間沒刷新就說明它可能被死鎖卡住了立即觸發(fā)系統(tǒng)復(fù)位。代價(jià)是系統(tǒng)會(huì)丟失當(dāng)前運(yùn)行狀態(tài)但對(duì)很多設(shè)備來說自動(dòng)重啟比永遠(yuǎn)僵死強(qiáng)得多。我在項(xiàng)目里見過不少產(chǎn)品就是靠看門狗把偶發(fā)的死鎖熬過去的雖然不太體面但用戶感知上是偶爾重啟一次而不是設(shè)備變磚。我在實(shí)際項(xiàng)目中體會(huì)最深的一點(diǎn)是檢測(cè)和恢復(fù)是應(yīng)急手段真正要下功夫的是讓死鎖問題能夠復(fù)現(xiàn)和定位。死鎖最惡心的地方在于時(shí)序敏感可能跑幾小時(shí)甚至幾天才出現(xiàn)一次日志又來不及打印。后面我會(huì)專門講定位技巧這里先強(qiáng)調(diào)一個(gè)原則務(wù)必在系統(tǒng)里預(yù)留一個(gè)內(nèi)核狀態(tài)導(dǎo)出接口——比如通過調(diào)試串口命令隨時(shí)可以輸出當(dāng)前每個(gè)任務(wù)的運(yùn)行狀態(tài)、等待的鎖對(duì)象、持有鎖的列表。有這份數(shù)據(jù)你才能在死鎖發(fā)生的黃金窗口內(nèi)抓住元兇。6. 嵌入式場(chǎng)景特有的隱性死鎖優(yōu)先級(jí)反轉(zhuǎn)與中斷上下文嵌入式系統(tǒng)的死鎖和通用操作系統(tǒng)還有個(gè)很大的區(qū)別嵌入式里除了任務(wù)之間的資源競(jìng)爭(zhēng)還疊加了優(yōu)先級(jí)體系和中斷上下文這兩個(gè)維度會(huì)產(chǎn)生一些教科書上沒有直接寫的變體死鎖。優(yōu)先級(jí)反轉(zhuǎn)是最經(jīng)典的一個(gè)。場(chǎng)景是這樣的任務(wù)L優(yōu)先級(jí)最低先拿到了一把鎖正在執(zhí)行臨界區(qū)任務(wù)M優(yōu)先級(jí)高一點(diǎn)過來等這把鎖阻塞任務(wù)H優(yōu)先級(jí)最高它也來等這把鎖一樣阻塞。如果此時(shí)有一個(gè)中等優(yōu)先級(jí)的任務(wù)N開始運(yùn)行因?yàn)長(zhǎng)被N搶占了CPU而遲遲不能完成臨界區(qū)釋放鎖H就要一直等N跑完、L再跑完才能拿鎖。這個(gè)結(jié)果等于讓低優(yōu)先級(jí)的L和M拖死了最高優(yōu)先級(jí)的H和死鎖高優(yōu)先級(jí)任務(wù)無法推進(jìn)的觀感幾乎一模一樣。解決思路就是前面提到的優(yōu)先級(jí)繼承或者更嚴(yán)格的優(yōu)先級(jí)天花板——直接把持鎖任務(wù)的優(yōu)先級(jí)提到所有可能申請(qǐng)?jiān)撴i的任務(wù)的最高優(yōu)先級(jí)。我在嵌入式OS相關(guān)課程里看到過大量真題就是考優(yōu)先級(jí)反轉(zhuǎn)的發(fā)生條件和兩種對(duì)策的區(qū)別這個(gè)概念建議結(jié)合死鎖一起記。**中斷上下文中的偽死鎖**是我在項(xiàng)目里踩過的一個(gè)深坑。中斷服務(wù)程序里如果調(diào)用了一個(gè)會(huì)阻塞的鎖接口——很多RTOS為了簡(jiǎn)化接口并不在中斷里禁用這種調(diào)用——恰好主循環(huán)里的任務(wù)也持著同一把鎖在等一個(gè)更慢的硬件操作中斷就永遠(yuǎn)等不到鎖。而中斷一旦卡住整個(gè)系統(tǒng)的時(shí)基就亂了其他所有依賴中斷的服務(wù)全部癱瘓癥狀和死鎖幾乎完全一致。這種問題的根治方法只有一個(gè)中斷里絕對(duì)不能調(diào)用任何可能阻塞的內(nèi)核API。如果確實(shí)需要在中斷里和任務(wù)同步數(shù)據(jù)用非阻塞的隊(duì)列、信號(hào)量或標(biāo)志位任務(wù)側(cè)再去做實(shí)際的臨界區(qū)操作。內(nèi)存池死鎖也值得提一嘴。嵌入式系統(tǒng)里動(dòng)態(tài)內(nèi)存分配通常用固定大小的內(nèi)存池如果任務(wù)A申請(qǐng)了兩塊內(nèi)存、任務(wù)B申請(qǐng)了兩塊內(nèi)存然后互相等待對(duì)方釋放內(nèi)存來湊夠自己的第三塊本質(zhì)上和互斥鎖導(dǎo)致的死鎖一模一樣。這類問題比鎖死鎖更隱蔽因?yàn)閳?bào)錯(cuò)往往不是卡住而是內(nèi)存分配失敗排查方向很容易帶偏。這幾類場(chǎng)景共同說明一件事考試?yán)镏v的經(jīng)典死鎖模型是一個(gè)基線真實(shí)系統(tǒng)的死鎖往往披著優(yōu)先級(jí)、中斷、內(nèi)存分配的外衣出現(xiàn)。你只盯著Mutex去找問題大概率會(huì)走很多彎路。7. 現(xiàn)場(chǎng)實(shí)戰(zhàn)死鎖問題的排查清單與工具思路講完理論和場(chǎng)景最后分享一套我在實(shí)際項(xiàng)目里反復(fù)驗(yàn)證過的排查流程。死鎖問題之所以讓人崩潰就是因?yàn)樗及l(fā)、難復(fù)現(xiàn)、日志缺失。但換個(gè)角度想死鎖的本質(zhì)是資源的循環(huán)等待只要你能回答誰在等誰這個(gè)問題定位就成功了80%。**第一步固定現(xiàn)場(chǎng)。**發(fā)現(xiàn)系統(tǒng)疑似死鎖時(shí)先別急著復(fù)位。立刻通過調(diào)試器中斷系統(tǒng)JTAG/SWD在線調(diào)試模式下暫停內(nèi)核把當(dāng)前所有任務(wù)的PC指針和?;厮輇acktrace拉出來。PC指針會(huì)告訴你每個(gè)任務(wù)卡在哪個(gè)函數(shù)如果多個(gè)任務(wù)都卡在鎖相關(guān)的內(nèi)核函數(shù)上比如pend、acquire、interrupt disable附近死鎖嫌疑立刻上升。**第二步梳理鎖資源。**把現(xiàn)場(chǎng)里每個(gè)阻塞任務(wù)的等待對(duì)象列出來再看當(dāng)前每個(gè)對(duì)象的持有者是誰。我習(xí)慣畫一個(gè)表格格式很簡(jiǎn)單但非常有效任務(wù)名當(dāng)前狀態(tài)正在等待的資源該資源持有者Task_Comm阻塞Lock_BTask_SensorTask_Sensor阻塞Lock_ATask_MainTask_Main阻塞Lock_CTask_Comm這張表只要能畫出來成一個(gè)環(huán)結(jié)論幾乎是板上釘釘?shù)摹?*第三步復(fù)盤鎖申請(qǐng)順序。**找到環(huán)之后回到代碼里看每個(gè)任務(wù)的鎖申請(qǐng)路徑。八成以上情況會(huì)發(fā)現(xiàn)某兩個(gè)任務(wù)的申請(qǐng)順序不一致一個(gè)任務(wù)是先拿A再拿B另一個(gè)是先拿B再拿A。把代碼改成統(tǒng)一的順序這個(gè)死鎖往往就不治而愈。這一招我用了很多年幾乎百試百靈。**第四步補(bǔ)觀測(cè)手段。**如果問題還不能復(fù)現(xiàn)就得加觀測(cè)代碼。推薦在每個(gè)鎖申請(qǐng)點(diǎn)打印日志時(shí)帶上任務(wù)名、鎖ID和當(dāng)前時(shí)間戳如果擔(dān)心日志影響實(shí)時(shí)性可以用環(huán)形日志緩沖寫出問題的前幾秒記錄都留在內(nèi)存里死鎖發(fā)生后通過調(diào)試串口導(dǎo)出。我在一個(gè)數(shù)據(jù)采集板卡上就是用這個(gè)辦法捕獲到了兩個(gè)任務(wù)在某個(gè)特定數(shù)據(jù)幀到達(dá)時(shí)幾乎同時(shí)申請(qǐng)對(duì)方鎖的過程問題的因果鏈瞬間就清楚了。**第五步善用RTOS自帶工具。**主流嵌入式RTOS內(nèi)核普遍提供死鎖檢測(cè)鉤子或統(tǒng)計(jì)信息比如互斥鎖等待超時(shí)計(jì)數(shù)器、任務(wù)阻塞時(shí)間統(tǒng)計(jì)。把這些數(shù)據(jù)接入到遠(yuǎn)程監(jiān)控里板子在現(xiàn)場(chǎng)出現(xiàn)異常人在電腦前就能看到是哪個(gè)任務(wù)長(zhǎng)時(shí)間阻塞在哪個(gè)鎖上。這個(gè)投入回報(bào)極高強(qiáng)烈建議有時(shí)間就做上。**備考提示**四級(jí)考試的死鎖部分題型幾乎是固定的。概念題考四個(gè)必要條件畫圖題考資源分配圖和環(huán)路判斷計(jì)算題考銀行家算法找安全序列應(yīng)用題考預(yù)防措施的列舉與選擇。只要把銀行家算法的手算流程練熟——尤其是先找滿足條件的任務(wù)、釋放資源、更新Available、循環(huán)這個(gè)步驟——基本上就不會(huì)丟分。別只背結(jié)論一定要親手算上兩遍。8. 寫在最后死鎖是設(shè)計(jì)問題不是運(yùn)氣問題死鎖這東西剛接觸時(shí)空對(duì)概念感覺很簡(jiǎn)單真到項(xiàng)目里又覺得運(yùn)氣太差碰上了。實(shí)際上我做過的所有死鎖案例復(fù)盤到最后都是設(shè)計(jì)階段埋下的雷要么是鎖的粒度劃分不合理要么是申請(qǐng)順序沒有全局規(guī)約要么是用了等所有資源都齊了再動(dòng)手這種天然招死鎖的模型。它就像代碼里的內(nèi)存泄漏平時(shí)不發(fā)作一旦發(fā)作就是系統(tǒng)級(jí)的。我個(gè)人現(xiàn)在寫多任務(wù)代碼有個(gè)習(xí)慣每加一把鎖都要在代碼注釋里寫明申請(qǐng)順序規(guī)約凡是出現(xiàn)嵌套鎖的場(chǎng)景強(qiáng)制畫等待圖自檢一遍再提交。這套習(xí)慣一開始覺得繁瑣但真幫我避掉了好幾個(gè)潛在死鎖。如果你正在被死鎖折磨不妨按上面的排查清單走一遍我猜你很快就能定位到那根鎖死系統(tǒng)的環(huán)。最后留一個(gè)問題供你自查現(xiàn)在手上正在開發(fā)的系統(tǒng)里有幾個(gè)任務(wù)會(huì)嵌套持鎖它們的申請(qǐng)順序是一致的嗎如果現(xiàn)在不確認(rèn)等它在現(xiàn)場(chǎng)給你顏色看就晚了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91色人妻| 欧美精品 - 91爱爱| 红桃视频高潮| 蜜桃视频精品一区二区三区| 日韩在线性爱免费视频| 国产午夜精品理论片a大结局| 国产日本久久免费精品| 色牛aV| 国产久久一区二区| 日韩一区二区熟女| 日韩草久视频| 日韩黄色成人性爱| 天堂中文日本在线观看| 国产无码精品成人| 日逼逼免费看| 7777奇米影视久久| 强奸乱伦AV一天堂网| 老鸭窝成人| 九月AV| 精品国产乱码久久久久久影片| 久久久精品视频免费观看| 麻豆国产97在线| 亚洲女人91| 婷婷五月天无码 | 日本欧美不卡| 国产91专区| 大香蕉欧美国产日韩高潮| av大香蕉| 嫩草 人人网精品| 暖暖精品二区三区观看| 丰满欧美少妇| 欧美|91色综合| 999久久久精品国产| 色噜噜精品一区二区三| 被体育老师抱着c到高潮| 色综合av男人天堂| 老司机老司机午夜影院| 五月丁香激情综合网| wwwcaobibi| 91精品啪在线观看国产城中村| 一个国产在线综合网站| 韩国一级婬片A片无码天美| 日韩欧美福利视频看看| 在线中文字幕极品av| 曰韩操B| 国产精品女生av| 亚洲欧美日韩二区视频| 国产精品久久久久中文字幕| 欧美中出1| 一区二区激情国产熟女| 1区2区3区在线视频| 超踫中文字幕| 色好看av| 骚人妻少妇视频| 综合情欲网| 国产在线激情| heyZO天然素人无码AⅤ专区| 岛国AB视频| 曰韩av中文字幕专区| 九月婷婷综合| 色眯眯射| 国产精品自拍视频 | 男人的天堂不卡一区二区 | 97免费在线观看| 97精品在线视频| 国产乱子伦一区二区三区在线观看| 久久久久夜夜夜夜| 26uuu性物| 亚洲最大无码中文字幕网站| av中文字幕在线熟女| av情色影音| 91欧美综合在线| 国产精品一二三| 水多多映视AV| 性做久久久久久免费观看软件| 狠狠爱综合网| 久久成人午夜狠狠| 黄片视频观看| 免费黄色视频网址| 国产精品乱码久久久久久久久| 国产无码成人无码| 狠狠躁AV| 一区二区中文| 五月丁香色综合| 2017大香蕉国产精品久久| 呻吟 欧美 日本 中出| 欧美激情精品| 91五月天| 玖玖爱视频网站| 日本爽爽爽爽爽爽免费视频| 午夜欧美J进J出白浆流出久久久| 欧美精品亚洲精品日韩传电影| 精品免费一区| 色狠狠综合噜一二三区| 亚洲av青草久久一区二区| 日韩美女操b| 九九热精品| 精品一二三区四视频| 日本二三四区| 国产成人网站在线观看| 91欧美性| 国产成人精品必看 | 秋霞 色色| 日本午夜精品理论片A级APP发布| 热久日综合| 天堂无码| 久久国产精品91| 一区二区三区一亚洲中文字幕、综合区灬 | 日日干夜夜欢| 蜜乳av一区二区| 国产高清1234区| 中文字幕AV片| 欧美AB在线| 97资源超碰| 蜜臀亚洲中文| 日本东京热大香蕉a片| 91精品人妻一区二区三区蜜桃| 日本操色导航| 亚洲熟久久| 人人 操人人 操人人| 亚洲国产欧美日韩人妻日中文| 91欧洲入口| 岛国毛片在线观看免费| 亚洲综合一| 黄页视频网站野外| 免费草草草草草视频| 青娱乐淫乱1314| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 欧美,日韩,中文,另类| xxxx网站亚洲精品| 久久久一区二区| 一本精品日本在线视频精品| 操淫穴亚洲五月丁香| 国产aⅴ无码片毛片一级网站| 亚州色图欧美| 啪啪啪大香蕉| 东京热毛片177b2viP| 欧美精品成人亚洲| ji熟女.com| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 亚洲精品白浆高清久久久久久| 亚洲成人精品久久久| 男人女人18禁片免费看网站| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 色色五月婷婷| 手机在线免费看的av| 岛国人妻少妇av在线观看| 国产精品福利视频播放| 激情另类激情| 97精品一二区| 天堂中文日本在线观看| 黄色大片免费在线| 97日韩欧美亚洲| 日本三级韩三级99久久| 日韩精品在线观看观看| 97国产精选| 开心五月婷婷| 啪啪啪大香蕉| 久久久久久69国产一区二区| 色97欧美| 涩涩久久精品| 精品久久久久9999| 成人性爱电影网| 亚洲色91| 亚洲清纯综合| 国产欧美日韩臀| 色色婷婷五月| 中国zzijzzijzzwww精品| 伊人操| 美女91色黄18| 日韩中文字幕宗合在线| 欧美日韩夜夜| 超碰97爽| AV 少妇 人妻 偷拍| 免费精品人妻一区二区三| 亚洲a色| 欧美精品丝袜久久久中文字幕| 黄片免费看黄片免费看| 欧美中文字幕日韩在线| 国产精品 视频| 精品视频久久区| 亚州宗合另类| www.国产高潮精品| 久操com| 2017亚洲天堂| 免费视频观看60秒| 欧美熟女丝袜| 久久久一区二区| 欧美熟女激情| 日韩av熟女一区二区三区成人| 亚洲欧洲国产综合av| 91精品微拍福利| 你懂的在线观看区国产| 中文字幕后石码四区五区| 综合欧美色图| 男人的天堂com| 天天爱综合网| 2020天天色综合| 大香蕉在线SuP| av麻豆啪啪| 国产精品久久9| 日本三级中国三级99人妇网站| 九九九九九九亚洲| 中文高清一区二区的| 91干熟女| 国产欧美美女免费观看视频| 欧美在线伊人色| 99无码| 91九色网| 嗯啊不要啊在线| 狠狠操狠狠爱| 亚洲一区二区 麻豆传媒| 中文字幕丝袜美腿| 欧美天堂日韩三级国产传媒| 五月天综合网| 久久亚码| 亚洲美腿丝袜香蕉影视欧美成人| 日韩毛片9| 91欧美巨乳| 208天天久久九九九| 热久久无毒不卡| 欧洲一区二区三区四区在线观看| 精品少妇一区二区三区| 色五月AV| 亚洲最新a在线观看| 在线啊v一区| 国产刺激视频| 欧美国产有色电影| 天天天干977| 五月丁香激情四射| 午夜无遮挡男女啪啪视频| 九九精品99| 午夜偷拍久久熟女| 99久热| 欧美在线伊人色| 亚洲欧美日韩电影网站一区| 久久97视频| 久久无码精品| 成人无遮挡毛片免费看| 免费看欧美美女黄色大片| 色色婷婷五月天| 女优免费一区二区永久| 亚洲美女 晚间男人天堂 | 国产精品午夜福利| 啊啊嗯嗯好爽| 欧美亚洲日本视频久久久| 9l视频自拍9l九色成人| 午夜后入| 欧美一区二区福利在线| 五月婷婷性爱| 麻豆一区在线| 人妻久久一区二区三区 | 黄色区免费观看中文字幕| 精品一区二区亚洲国产| 日本天堂网| 欧美中字不卡| 国产偷人伦激情在线观看| 脫衣舞一区二区三区| 色色婷| 亚洲中文电影| 婷婷综合伊人一区| 淫乱图区 | 99热在线播放| 久久国产精品视频| 欧美性爱一级操| 另类亚洲图色| 啊啊啊好想要| 综合网欧美在线| 色娱乐色呦呦夜夜夜夜av| 日韩十八禁| 日韩 欧美 另类 人妻| 久久综合日韩亚洲欧美| 久久久精品,3| 日韩欧美午夜视频在线| AV99热18这里只有精品| 韩国手机不卡无码三级视频| 久草视频制服诱惑| 久操免费在线| 欧美美女自慰一区二区三区| 天天碰久久入| 免费一级欧美片片线观看| 97在线欧洲| 97av在线观看| 91粉芽高清在线一区二区| 精品一区二区久久| 青青操综合网| 日本精品久久久久久久| 久久毛卡| 骚女高跟AV在线| 婷婷色色五月天福利| 国产 日韩 欧美 人妻 熟女 中文 69人妻精品一区二区绯色 | 日日摸日日碰| 性久久| 中 文字幕一区二区三四 五 区日 日 骚 | 日韩九区| 亚州性色| 欧美一区91大爱| 日韩啪啪视频| 亚洲精品蜜桃久久久一区二区三区| 97天天操| 啊啊啊用力在线观看| 日本久久女同性恋视频| 久久AV无码1区2区3区| a片久久久久久久久久久久 | 国产欧美另类久久久精品课程| av婷婷色婷婷色六月| 骚人妻少妇视频| 极品尤物自安慰| 精彩久久中文| 日韩人妻少妇 一区二区三区| 国产精品久久泡妞网站| 人妻天天夜夜爽一区二区| 欧洲亚洲综合| 久久精品国产精品一区| 中文字幕精品码亚洲| 91站街按摩店老熟女熟女| 91日日夜夜| 嫖老熟女A片一二三区| 玖玖综合视频| 久久国色天香香蕉| 婷婷色一区| 欧美97爱| 蜜臀无码一区二区| 欧美99热| 欧美精品偷拍| 国产视频一区二区三区久久亚洲天堂| 成人精品欧洲亚洲| 人人澡人人干| 亚洲男人天堂网久久| 日韩无码三级影院| 亚洲色图8| 久久久久久久久久久久久久久性生活视频 | 91啪啪| 日韩激情电影中文字幕| 国产av色网| 粉嫩国产精品久久粉嫩| 久久久久亚洲av综合波多野制衣| 后入精品| k频道色撸撸| 超碰亚洲97| 日本性爱少妇| 黑人美精品 A片| 92久久| 9精品久久| 欧美精品第3页| www.久久最新地址| 2024黄色视频| 91精品导航| 国产日韩欧美| 男人的天堂激情| 中文字幕日本久久| 樱花蜜乳av| 91老熟女视频| 午夜操操操| 91在线限制级| 天天做天天爱天天高潮| 人、人、摸,人、人、草| 2017av无码免费无线播| 欧美天天干| 中出人妻中文字幕91在线| 国产日韩精品一区二区三区| 五月天社区| 午夜福利免费福利视频| 亚洲欧美在线观看免费| 欧美人人操人人插| 9色国产精品一区粉嫩| 亚洲熟女人妻中文字幕一区二区| 一本色道久久综合狠狠操| 超碰中文字幕人妻草一区| 精品久久久中文字幕不| 99re3这里只有精品| 婷婷九月色| 国产又粗又长又爽又色| 国产成人无码网站在线视频| 亚洲高清在线| 五月丁香啪| 五月天婷婷色色| 欧亚在线视频| 韩国一级婬片A片AAAAA| 一级啊性爱在线视频| 青青国产精品在线| 啊啊啊啊嗯嗯嗯用力好爽 | 亚洲天堂人妻一区二区| 中文字幕av久久爽Av| 清清一区二区三区四区不卡视频| 久久99国产综合精品女同| 1024香蕉视频| 欧美天堂日韩三级国产传媒| 中文97国产| 亚州春色| 亚洲色图 91| 99re视频在线播放青草| 国产97亚洲| dy888午夜老子影视达达兔| 96久久久久| 91精品国产91久久青草 | 国产无遮挡| 色女综合| 中文字幕伊人| 小电影欧美91| 日日爱99| 国产毛片久久久久久久| 欧美黑人精品一区二区| 丁香婷婷久久 | 久9久| 亚洲自拍一区夜夜操| 加勒比伊人影院| 免费男人的天堂| 东京热毛片177b2viP| 精品蜜乳AV免费观看| 影音先锋日本一区二区| 天天精品| 亚洲综合影视| 色欧美色交综合| 91精品老女人| 久久久精品无码亚免费| 久久五月份| 亚洲色图美腿丝袜| 91天天综合日韩欧美| 看免费的黄片| 91亚洲黑人| 天天激色| 国产毛片片精品天天看视频| 秋霞无码av鲁丝片一区| 97久精品| 精品免费成人久久| A 在线网址| 口爆综合网| 九九九九九九九九九五码| 欧美啪啪啪91| 亚乱色| 人妻天天爽夜夜爽精品2| 97日韩欧美亚洲| 综合伊人网12色| 立川理惠加勒比无码| 欧亚第一综合网| 亚洲欧美国产精品久久久久久久| 最新日日夜夜天天干干| 日本三级人妻a人妻一在线| 青青草华人在线欧美在线| 老外又粗又长一晚做五次| 色婷久久| 久热在线精品免费观看| 丁香激情五月| 日本不卡免费二区| 在线观看AV片| 欧美综合制服在线| 麻豆三极片| 六六久久日韩不卡| 91综合无码| 日韩AV一起草| 久久精品六区| 人人妻人人狠人人| 午夜无码熟妇丰满人妻| 黑人狂躁日本妞一区二区三区| 97在线免费看| 男人天堂网站| 欧美综合自拍成人自拍第二十页| 性欧美999| 日韩精品永久在线观看| 欧美女同在线| 国内毛片免费h片在线| 男人的天堂在线| 亚洲欧洲日韩国产自在线| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 亚洲美女精品| 插入综合网| 伊人九九| 日本天天操| 在线二区不卡| 极品五月天噜噜| 玖玖久久久| 六九九九| 男人天堂电影院| 亚洲欧美校园另类春色| 97爱综合| 亚洲国产一级中文综合久久天堂在线免费观看| 国产资源中文字幕在线| 嫩草 人人网精品| 一个国产在线综合网站| 欧美999999| 浪人综合网| 欧美桃色网| 激情深爱五月天| 久久人| 欧美亚洲第1页| 无码操逼视频一下| 日本熟妇精品九九| 熟女突然公开看18禁影片| 有码专区最新中文字幕有码| 资源在线观一 二| 亚洲国产另类在线中文| 久久久久网站-538在线视频-欧美永久乱码 | 91国产丝袜白虎| 91校园春色长篇| 人人爱人人乐人人操| 美腿丝袜高跟网免费视频免费视频| 国产精品亚洲高清在线| 91男人综合| 艳美熟妇先锋一二三区| 熟女人妇一区二区三区| 夜夜骑夜夜操| 久久久久深夜无码| 国产精品2020| 日本网色| 两女互慰AV高潮喷水在线观看| 白丝AV| 国产久久日| 久久精品国产精品亚洲艾通辽熟妇 | av一区二区三区四区| 97爱啪| 1区2区3区在线视频| 日韩欧美tv一区二区在线观看| 精彩国产视频播放1区2区| 91处女在线视频| 亚洲午夜免费狠狠干| 在线看片国产精品每日更新| a亚洲欧美色欲| 天天综合网在线| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 久久日韩肥臀| 欧亚久久偷拍视频| www.99色| 91在线精品| 性爱视频免费网址| 三级色影综合网| 伊人色综合欧美| 成人女人国产| 天美国产三级传媒| 色噜噜综合网| 思思热影视| 精品亚洲一区在线观看| 亚洲综合首页| 精品999一区二区| 亚洲综合大片| 亚洲限制级| 麻豆国产原创AV色哟哟| 夜夜中出国产| 麻豆这里只有精品| A 天堂在线观看视频| 啪啪视频亚洲第一| 欧美伊人久久综合网| 啊啊啊无码| 男人的天堂视频精品乱在线| 激情婷婷丁香网| 亚洲天天影视色综合| 中文字幕88av在线| 亚洲五区熟女| 国产精品 午夜福利| 九九九九九九亚洲| 91丝袜美女| 日韩AV电影网站| 少妇高潮99p| 国产欧美日韩在线观看麻豆传媒公司| 亚洲丝袜色| 天天做天天爱天天高潮| 蜜臀久久99精品久久久老,,| 97网址www| 91美女在线精品视频| 天堂av2019| 麻豆国产av网| 乱老熟女一区二区三区| 婷婷精品国产一区二区三区日韩| 亚州综合AⅤ| 成人片视频| 九九免费影片| 婷婷人妻激情| 97干97色| 国产成人99久久亚洲综合| 370p日韩欧美亚洲精品| 91人妻素女| 久久婷婷色| 91 手机在线播放 绯色| 午夜精品久久久99| 亚洲色图综合网| 91精品国产91久久福利| 亚洲啪啪视频免费| 手机在线视频国内精品| 91操人视频| 1024亚洲中文字幕久在线看片你懂的 | 九月丁香婷婷色| 国产亚州日韩欧美看片| 丁香九月激情| 欧美v日韩欧亚洲电影天堂色诱,国产传媒| 女同女同恋久久级三级| 91成人久久| 天天拍天天操| 免费人人搞97| 超碰9 7女人| 97干色| 欧美天天干| 色婷网| 69综合网| 清纯唯美激情| 在线A日本| 婷婷成人五月天| 啊啊啊不要啊啊受不了了视频在线 | 亚洲天堂另类小说男人| 欧美黑人91| 最新亚洲黄色免费电影| a v网站在线播放| 亚洲综合春色| 欧美色图小说综合| 人人做,人人操,人人摸| 强奸xx国产| 伊人网在线观看| 人妻精品一区二区三区| 超碰人妻天天干| 日本欧美韩国日产片片在线看免| 美熟女逼导航AV操逼| 懂色Av| 90后性网国产欧美| 日日噜噜夜夜久久亚洲一区二区| 91麻豆天美| 无遮挡h肉动漫在线观看| 欧美日韩黄色片一区二区三区四区人与兽做爱 | 亚洲熟女av中文字幕| 伊人久久在线视频观看| http://qxhbdz.com| 婷婷激情五月综合| 欧美天天干| 精品人妻一区二区三区-国产| 欧美啪啪天堂| 久久成人国产| 级品肉射| 色综合V| 午夜精品99久久久久传媒| 91激情国产| 亚洲一级特黄大片在线播放91| 九九九九九九亚洲| 天天综合-91入口| 色婷婷丁香五月| 久久风骚城市人| 亚洲第一无码播放立川理惠| 91AV天美在线视频| 亚洲中文字幕久久人妻| 四虎免费看黄| 黄色片一区二区三区四区五区 | 激情小说亚洲| 蜜桃视频精品一区二区| 精品人妻一区二区三区不卡断| 欧美午夜一区二区三区| 91 国产丝袜在线播放-百度| 又大又长又粗又爽又黄| 久久99999| 欧美精品成人在线播放| 操逼999| 国产AV毛片| 亚洲清纯唯美| 日韩一区二区熟女| 亚洲人成网站7777| 99re8超碰| www.久久制服糖| 日韩欧美丝袜诱惑| 中文字幕奈奈美被公侵犯| 亚洲资源网| 大香网站| 日韩AV噜噜噜一区二区三区四区| 99久久精品国产高潮| 亚洲天堂一二| 综合五月天| 五月天亚洲色图| 亚洲国产一区二区三区在线| 日韩无码一级黄色av片| 校园春色综合色| 玖玖爱在线视频免费观看| 鸥美精品一区二区久久婷婷| 亚洲日韩美国人妻| 校园春色 亚洲| 亚洲天堂性爱| 欧美精品99久久久**| 啊啊啊轻点在线观看| 亚洲男人的天堂亚洲| 日韩啊V| 男人的天堂在线| 激情五月丁香五月| 四虎国产精品永久在线囯在线| 久草资源欧美在线视频| 国产精品香蕉热久久新品| 9Ⅰ超碰| 亚洲日韩青青草色月| 欧美色视频在线| 99久久久| 天天日天天射天天干| 国产树林里野战在线看| 亚洲福利影院一区久久| 91性感网站| 久久久久久久人妻| 911av网站免费观看| 亚洲欧洲日韩中文字幕一区| 午夜天堂网| 日韩一级片| 少妇熟女1区2区3区| 91亚洲欧美综合高清在线| 精品精品精品| 日操粉逼逼| 91成人18| 一本色道久久综合狠狠操| 国产精品制服丝袜中文字幕日韩一区二区三区| 国产精品久久久久久久毛片1| 国产99热| 黑白配性爱AV成| 伊人一区二区三区| www鬼畜国产男人的天堂| 亚洲砖码砖专无区2023| 精品久久久久久AV无码| 欧美日韩小说| 9997se| 一本大道综合伊人精品热热| 亚洲天堂色图| 日韩成人精品中文字幕| 亚洲国产一级精品毛一级精品看免费视频| 青娱乐国产剧情av一区| 九久久九九久视频| 久男人久久| 日韩人妻精品中文字幕| 日韩内射视频| 91亚州日韩高清| AAA久久| 乱伦系列一区二区| 综合免费无码中文| 日韩国产欧美伦理在线| a片 xxxx受爽视频| 日日躁夜夜躁狠狠躁超爽| 97少妇人妻中文字幕久久| 大香蕉男人的天堂| 啊啊啊在线观看免费视频| 美女啊啊啊啊啊啊啊| 资源在线观一 二| 婷婷五月天色| 五月综合激情网| 婷婷伊人| 95人妻爽爽人人做人人澡 | 激情天天视频| 超碰在线日韩一区| silk lablo在线观看一区二区| 国产亚洲女v在线观看| 三男一女不戴套的A片| 亚洲综合电影| 久久发布国产伦子伦精品| 性爱乱伦一区| 性高潮久久久| 九九综合网| 97国产综合欧美| 欧美在线综合| 78操B| 国产在线观看一区二区三区| 91N欧美| 在线观看一级α片刺激高潮视频| 亚洲日本韩国极品一区二区| 日韩欧美视频青青| 激情婷婷| 日本高清电影欧美色图| 午夜天堂精品久久| 日韩一级片在线看| A V少妇特黄三级| 婷婷五月丁香五月| 欧美午夜精品久久久久久3D| 狠狠躁AV| 欧美日本中字另类在线| 久久激情婷婷| 日本人妻伦在线中文字幕| 国产av强奸美女| 亚洲熟妇熟在线电影视频| 91天天综合在线观看| 2025亚洲男人天堂| 奇米四色网| 久久夜黄色无码A级大片| 一区二区三区四区免费视频| 久久99视频| yirendaxiangjiashipin| 色欲人妻一区二区在线| 伊人四虎综合| 97干97色| 亚洲精品人妻在线| 丁香五月成人| 一区二区视频你懂的| 亚欧操逼片在线观看| 香蕉视频欧美一卡二卡| 日本激情免费大片| 国产精品一二三免费网站| 亚洲精品国产精品乱码不卡| 亚洲双插| 久久黄黄| 91亚洲在线| 蜜臀99久久精品久久久久| 91女人的网站| 九九九草| 日韩免费中文字幕视频| 探花熟女,姿勢到位,體驗感也到位| 99色热| 熟妇高潮一区二| 亚洲欧洲日韩中文字幕一区| 天天干天天燥| 91色综| 久草老司机| 国产亚洲欧美每日在线| 这里有精品| 国产欧美美女免费观看视频| 性爱视频免费网址| 亚洲区小说| 熟女这里只有精品6| 欧美色五月| 久久久久9| 中文字幕丰满人妻日本| www.色婷婷色综合| 欧美大片天天看| 青草精品视频-日本久久久久网站| 精品国产一区二区三区香蕉欧美| 粉嫩国产精品久久粉嫩| 激情文学小说一区二区| 成全在线观看免费观看| 欧美日韩99精品麻豆传媒| 免费男人的天堂| 嗯嗯啊啊操我| 另类图片天天影视| 99re公开精品免费视频| 中文字幕少妇色| 69一区二区| 久久99综合| 日本ZZ高免费A级视频| 性影在线视频| 国产精品久久久久久久久久久久久久久久久久| 亚洲欧美伦综合| 99操视频| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 欧美日韩精品久久久久东北老熟妇| 久久伊人亚洲AV无码网站 | 99亚洲精品| 97玖玖人妻| 五月婷亚洲精品天堂| 人妻熟女一区在| 91丝袜美女视频| 天天插天天插| 爽 好舒服 无码刺激久久| 日本91白丝| 久久久一区二区三区麻豆| 日韩三级在线观看mp4| 色婷婷电影网| 欧美在线观看综合国产| 午夜视频黄| 日韩 国产 欧美自拍| 亚洲偷91色| 秋霞曰韩R级| 超碰98综合网| 国产女人极品高潮毛片| 亚洲高清少妇| 青青操狠狠撩| 99精品在线| 91狠狠狠| 中文字幕精品一区二区精品| 夜夜爽夜夜操| 超碰爽人妻熟女Av| 草草影院最新网址| 九九综合网| 伊人久久婷婷| 天天澡天天爽日日AV| 日韩成人午夜精品久久高潮| 岛国网址国产 | 老鸭窝日丰县女人| 狼人久草| 中英熟女操女| 欧美大片天天看| 亚洲国产一区二区三区四区国产| 综合少妇网| 国产视频一区二区在线| 亚洲熟女性高潮久久久| 美女天天干| 精品熟女一区=区三区| 国产高清无码一区三区二区| 一二三四区电影| 97日本超碰综合| 天天做日日做| 亚洲图片欧美偷拍| 麻豆影音天美视频| 亚洲国产欧美中日韩成人综合视频| 蜜臀99久久精品久久久久| 国产SV一线| 成人综合久久精品色婷婷| 男女无套 免费网站| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 国产诱惑| 欧美美女自慰一区二区三区| 久操网视频| 97精品免费视频网站| 韩日巨乳美女免费视频在线观看| www.婷婷五月天| 啪啪视频亚洲第一 | 天天干2019| 影音先锋乱| 内射小黄片| 久久久久久九九九九九| 国产精品久久久999| 天天干天天日天天射黄色| 国产福利小视频高清在线观看| 性综合网| 一本色道人妻久久| 久久久成人精品| 不卡九肏| 国产久久一区二区午夜| 丝袜熟女一区二区三区| 欧美人与动性人交a| 国产丝袜一区二区三区| 97精品久久久久久久| 天天爽天天| 人人考人人摸人人干| 破处bbq| 亚洲在线观看| 岛国AB视频| 深爱伊人影院| 欧美熟爽综合| 日本熟女不卡视频| 久久久久亚洲一区女同性恋中文字幕| 国产精品亚洲免费| 久久久久久久久国产| 蜜臀久久一区二区| 播播亚洲小说亚洲| 日韩美女啪啪一区| 国产在线视频午夜精华在| 中文字幕人妻丝袜乱一区三区| 豆1无夜无码| 人妻酒店出差被中出免费在线播放| 天天综合~91入口| 天天弄天天操| 欧美成人性爱视频大全| 人妻在线视频| 91小视频| 欧美劲爆视频一区二区| 欧美亚洲| 亚洲国产午夜真人一级片中文字幕精品黄网站 | 清纯唯美综合亚洲| 亚欧洲一区二区视频| 亚洲超碰在线| 成人AV素股で擦久久| 男人的天堂啪啪| 激情婷婷丁香| 欧日韩不卡视.频| 口爆综合网| 久操高青| 精久久久91| 超碰综合色| 欧美大干日韩| 老熟妇一区二区三区| 久久风骚城市人| 91青青在线| 亚洲资源站| 精品人妻一二三| 91福利网在线观看| 狠狠色伊人亚洲综合网站色| 久久黄片国产一区二区| 精品中文字幕第一页| 亚洲天堂人妻熟妇视频| 日韩欧美字幕亚洲一区二区| 国产乱伦一二三区| 2020中文字幕| 天天天天天天天天综合| 欧美中字不卡| 久久久久久久久久久久97| 亚洲天天在线| 一区二区精品日韩欧美在线观看 | 欧美色图亚州激情| 欧美色图 人妻| 日韩有码回春沙龙第一页| 亚洲高清欧美总合| 亚欧免费观看视频| 久久精品国产亚洲AV嘿嘿| av一区二区三区 中文| 精品久久視頻在线| 啊啊啊不要啊啊受不了了视频在线 | 成 人 影视 一区 二区 三区 四区| 久久久穴999| 免看60秒涩涩视频| 国产91 丝袜在线播放00-百度| 乱伦熟女专区| 欧美黄片视频在线观看免费| 国产高清1234区| 超碰久久网| 91老熟女| 强奸乱伦αv片| 黑丝少妇麻豆| 亚州五月| 国产成人99久久亚洲综合| 国产做?爰片久久毛片?片美国| 亚洲骚女一区二区三区| 大屁股国产在线视频| 好爽视频在线观看视频| 久久久久久久亚洲Av无码| 日本人体九九九九九九| 东方亚洲在线操逼天堂| 色姑娘综合网| 手机看片1025| 五月天综合网| 亚洲久9| 日韩av不卡在线观看| 欧美色66| 国产精品9999| 小情侣高清国产在线视频| 麻豆精品A片免费观看| 国产视频第二页| 91操人| 美女诱惑在线一区| 亚洲伊人成综合成人网| 中文字幕一区二区三区视频播放| 欧美色一二三| 日韩一级二级三级免费看完整版 | 日本高清一本二本免费不卡| 无码免费在线观看黄色片| 亚洲少妇色| 超碰九九| 午夜寂寞欧美| 嗯嗯啊啊好大好爽| 在线观看一级α片刺激高潮视频| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 97超碰精品成| 色在线综合| 亚洲熟妇图片| 老熟女网站| 天天射影院| 亚洲中文字幕av | 亚洲s在线观看| 久久区| 午夜人妻精品综合在线| 老熟女综合网| 人妻中文在线| 人妻少妇精品无码专区二区密桃| 一,爱啪啪,在线免费视频| 97爱b| 精品中文字幕第一页| 国产精品色哟哟| 丰满人妻被猛烈进入中| 男人的天堂2018东京热啪啪啪| 78精品| 五月天激情综合网| 粉嫩AV一区二区夜夜| 99精品在线| 亚洲人综合19| 日韩精品99999| 97国产超碰| 91九九九馒头| 99久久亚洲精品无码毛片潘甜甜| 久久久久久久久久久人妻| 草草草视频在线免费看| 欧美色九九九| 久久久久久69国产一区二区| 蜜臀AV成人精品蜜臀| 激情无码日韩| 久久精品日韩专区免费观看| 欧美一级黄片免费播放| 蜜臀99久久国产| 日韩AV电影网站 | 97色涩| 欧亚乱色熟女一区二区| 99色在线| 69人妻精品一区二区绯色| 97超碰超碰| 熟妇精品juliaannAV| 国产高清在线观看欧美| 日韩欧美三级| 99re这里只有精品中心播放| 五月天我淫我色av| 91男同| 五月婷丁香| 婷婷伊人五月| 中文一区在线日| 色99在线| av一区二区三区不卡| 九七毛片九九毛片 | 亚洲欧美另类图片| 97爱亚洲综合色| 亚洲精品一区二区三区在线播放| 97超碰精品图片| 色九九九| 人、人、摸,人、人、草| 麻豆成人影音在线| 伊人国产视频| 曰韩无码777| 成人精品在线免费视频| 91无摭挡| 国产视频一区二区在线| 日欧亚洲二三区大片不卡| 99在线观看视频在线高清| 熟妇人妻一区二区三区| 国产色精品午夜大片| 熟女精品日韩一区二区三区| 无码视频一区二区| 激情综合五月| 日本三级A片网站com| 久草电影网| 在线视频一区二区传媒| 亚洲色诱惑| 日韩综合成人免费视频| 操熟女91| 欧美日韩天堂| 欧美熟爽综合| 久久久精品成人国产| www久久国产精品| 亚洲中文字幕av| 亚洲日产专区婷婷| 神马精品视频| 国产精品无码AV网站| 亚洲男人久久综合天堂| 色香综合| 五月天AV资源| 亚洲精品蜜桃久久久久久久| 啊啊啊啊视频免费| 久久五月视频| 岛国AB视频| 美女操逼A A| 日韩兔费看黄片| 免费视频观看60秒| 青青三级视频| 老师充足的奶水小说| 深夜啪啪啪视频免费| 日韩性爱小视频在线观看| 天天日天天干天天色| 岛国网址国产| 成 人 A V免费视频在线观看| 天天日天天干天天摸天天操| 伦理弟一页| 男人天堂久久日韩| 欧美制服网站美腿丝袜| 99亚洲精品| 六月激情婷婷| 日韩精品亚洲专区在线影视| 久久欲| site:sinbotex.com| 亚洲深夜福利| 国内一区二区三区| 久久人妻少妇| 青青三级视频| 在线情色电影 91大 | 打av高清| 18禁止看精品中文字幕| 嗯……啊…嗯嗯…啊…好舒服| 97精品| 色婷婷aV一区二区三区麻豆综合| 91亚洲网站| 2019AV天堂| 性色高清在线| 亚洲五区熟女| 97视频7| 色九九九九| 成人熟女区| 日韩中文字幕宗合在线| 欧美熟女逼久久久久久| 91精品又粗又猛又爽| 四虎精品一区| 久久久亚洲熟妇资源| 就去色综合| 色爱天堂| 亚洲色图综合| 2018色综合天天操| 成人在线视频网| 亚洲精品视频在线| 中文字幕日韩综合| 日本人妻一区二区| 亚洲熟女综合| 欧美一级专区免费大片| 果冻传媒A片一二三区| 亚洲中文sv|