久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

UFS 3.1協(xié)議深度解析:從分層架構(gòu)到WriteBooster與HPB實(shí)戰(zhàn)

UFS 3.1協(xié)議深度解析:從分層架構(gòu)到WriteBooster與HPB實(shí)戰(zhàn) 1. 項(xiàng)目概述與核心需求解析1.1 為什么要寫UFS 3.1協(xié)議分析UFSUniversal Flash Storage通用閃存存儲(chǔ)在移動(dòng)設(shè)備和嵌入式系統(tǒng)里已經(jīng)全面普及這幾年從UFS 2.1到UFS 3.0再到UFS 3.1中間還穿插著UFS 2.2這種過(guò)渡版本整個(gè)演進(jìn)節(jié)奏非常快。我最初接觸UFS 3.1協(xié)議分析的時(shí)候手頭正好在做一款旗艦級(jí)移動(dòng)平臺(tái)的存儲(chǔ)子系統(tǒng)適配芯片端的主控和UFS 3.1的Flash顆粒之間頻繁出現(xiàn)鏈路協(xié)商異常、命令超時(shí)和吞吐量不達(dá)標(biāo)的問(wèn)題。那時(shí)候才發(fā)現(xiàn)光會(huì)調(diào)驅(qū)動(dòng)、看日志遠(yuǎn)遠(yuǎn)不夠必須真正理解協(xié)議層的機(jī)制尤其是UFS 3.1相比老版本引入了哪些新特性、這些新特性又依賴哪些協(xié)議字段和交互流程才能真正定位問(wèn)題。這篇博文我想做的事是把UFS 3.1協(xié)議分析中最基礎(chǔ)也最關(guān)鍵的框架性內(nèi)容整理出來(lái)。它不是一個(gè)完整的JEDEC規(guī)范翻譯也不是針對(duì)某個(gè)廠商主控的調(diào)試手冊(cè)而是從協(xié)議分層的視角把UFS 3.1是什么、為什么需要它、它如何工作、調(diào)試時(shí)需要盯住哪些點(diǎn)講清楚。適合的讀者包括剛進(jìn)入存儲(chǔ)行業(yè)的嵌入式軟件工程師、做移動(dòng)平臺(tái)BSP底層的同學(xué)、以及需要跟Flash廠商和主控廠商打交道但協(xié)議底子不厚的系統(tǒng)工程師。在展開細(xì)節(jié)之前先用一句話概括UFS 3.1的本質(zhì)UFS是一套完整的“主機(jī)端控制器 協(xié)議命令集 物理鏈路”三位一體的閃存存儲(chǔ)方案3.1版本則是在3.0高速傳輸能力之上補(bǔ)齊了一組面向隨機(jī)讀寫性能、低功耗、大容量場(chǎng)景的增強(qiáng)特性。整個(gè)協(xié)議??梢圆鸪扇龑觼?lái)看應(yīng)用層UFS Command Set、傳輸層UTPUFS Transport Protocol、互連層UICUFS Interconnect每一層都有自己的職責(zé)也是排查問(wèn)題時(shí)的分層邊界。1.2 項(xiàng)目拆分與章節(jié)規(guī)劃我計(jì)劃把UFS 3.1協(xié)議分析分成四個(gè)章節(jié)來(lái)處理這次先聚焦第一章到第四章的整體脈絡(luò)第一章UFS概述與系統(tǒng)架構(gòu)。搞清楚UFS在系統(tǒng)里的位置、主機(jī)側(cè)和設(shè)備側(cè)的組成、協(xié)議分層模型。第二章傳輸層與命令機(jī)制。深入U(xiǎn)PIUUFS Protocol Information Unit、命令描述符、數(shù)據(jù)傳輸流程。第三章物理層與鏈路管理。包括UniPro、M-PHY、鏈路啟動(dòng)、速率協(xié)商和功耗狀態(tài)切換。第四章UFS 3.1新特性與工程實(shí)踐。分析WriteBooster、HPB、DeepSleep等增強(qiáng)功能在真實(shí)項(xiàng)目里怎么用、怎么調(diào)。這種拆法不是為了按部就班而是遵循實(shí)際工作中的排查路徑先看清系統(tǒng)全貌再定位命令通路接著查鏈路物理層最后回到特性和性能優(yōu)化。很多剛?cè)胄械耐孪矚g一上來(lái)就翻UPIU結(jié)構(gòu)體定義結(jié)果被字段淹沒(méi)遇到實(shí)際問(wèn)題仍然無(wú)從下手。我比較推薦的服務(wù)順序是架構(gòu) → 命令 → 鏈路 → 特性一步步把黑盒打開。2. UFS 3.1的整體設(shè)計(jì)思路與演進(jìn)邏輯2.1 從eMMC到UFS存儲(chǔ)接口到底變了什么要說(shuō)清楚UFS 3.1的價(jià)值得先回頭看一眼eMMC。eMMC本質(zhì)上是個(gè)并行總線接口8位數(shù)據(jù)線半雙工模式讀寫不能同時(shí)進(jìn)行。它的命令機(jī)制簡(jiǎn)單直接——主機(jī)發(fā)命令設(shè)備執(zhí)行然后通過(guò)數(shù)據(jù)總線傳輸。但這種設(shè)計(jì)在高性能場(chǎng)景下很快撞到天花板并行總線頻率提升困難、信號(hào)完整性問(wèn)題隨頻率上升越來(lái)越嚴(yán)重、半雙工浪費(fèi)了總線帶寬。UFS方案從誕生那天起就走了一條完全不同的路。它引入了一套類似SATA/NVMe的串行傳輸架構(gòu)底層用M-PHY做物理傳輸U(kuò)niPro做鏈路管理和協(xié)議適配。兩個(gè)lane可以同時(shí)一個(gè)收一個(gè)發(fā)全雙工模式等效傳輸效率遠(yuǎn)高于同頻的eMMC。在協(xié)議模型上UFS還參考了SCSI體系結(jié)構(gòu)模型使用命令描述塊CDB 任務(wù)管理函數(shù)的模式這讓它天然支持命令隊(duì)列、亂序執(zhí)行、多任務(wù)調(diào)度。從UFS 2.1到UFS 3.0最大的變化是HS-G4High Speed Gear 4速率的引入。M-PHY在HS-G4速率下每個(gè)lane的線速率接近11.6Gbps配合雙lane配置理論上可以達(dá)到單lane約1450MB/s、雙lane約2900MB/s的HS速率這是在考慮了8b/10b編碼開銷后的結(jié)果實(shí)際有效載荷帶寬還需要進(jìn)一步乘以協(xié)議開銷系數(shù)。這個(gè)速率等級(jí)遠(yuǎn)比UFS 2.1的HS-G3每個(gè)lane約5.8Gbps有效帶寬大約725MB/s翻了好幾倍。UFS 3.1又在這個(gè)基礎(chǔ)上做了三件大事新增WriteBooster解決寫入性能偏低的問(wèn)題。它利用SLC Cache機(jī)制把隨機(jī)寫入先吸收到SLC緩沖區(qū)再后臺(tái)回寫TLC/QLC區(qū)域大幅降低前端寫延遲。引入HPBHost Performance Booster把部分FTL映射表放到主機(jī)內(nèi)存中緩存減少設(shè)備端加載映射表的開銷提升隨機(jī)讀性能。強(qiáng)化低功耗管理DeepSleep狀態(tài)讓設(shè)備在待機(jī)時(shí)可以關(guān)閉大部分模塊供電顯著降低休眠功耗。這些特性不是孤立存在的它們都依賴協(xié)議層的字段和控制機(jī)制來(lái)生效。比如WriteBooster需要擴(kuò)展UFS Descriptor中的配置項(xiàng)HPB需要專門的控制命令和UPIU類型來(lái)管理主機(jī)端映射緩存。2.2 UFS 3.1系統(tǒng)架構(gòu)與協(xié)議分層模型一個(gè)典型的UFS系統(tǒng)由主機(jī)Host和設(shè)備Device兩部分構(gòu)成。主機(jī)端包括應(yīng)用處理器上的UFS Host Controller存儲(chǔ)控制器IP以及配套的軟件棧——Linux內(nèi)核的ufshcd驅(qū)動(dòng)、SCSI層、塊設(shè)備層。設(shè)備端則是一顆UFS IC通常整合了控制器和NAND Flash或者由獨(dú)立的控制器芯片加上多片NAND組成。從協(xié)議分層來(lái)看應(yīng)用層Application Layer定義了UFS命令集UCS、設(shè)備管理器Device Manager和任務(wù)管理器Task Manager。SCSI命令通過(guò)UFS封裝成CDB下發(fā)設(shè)備管理器負(fù)責(zé)處理描述符Descriptor、屬性Attribute、標(biāo)志位Flag的讀寫任務(wù)管理器則處理任務(wù)管理請(qǐng)求比如Abort Task。傳輸層UTP負(fù)責(zé)把上層請(qǐng)求封裝成UPIU通過(guò)UNIPRO的傳輸服務(wù)訪問(wèn)點(diǎn)Data Transport Service Access PointDTSAP傳給下面。UTRDUTP Transfer Request Descriptor是核心數(shù)據(jù)結(jié)構(gòu)保存了命令相關(guān)的所有指針和狀態(tài)?;ミB層UIC由UniPro層和M-PHY物理層組成。UniPro負(fù)責(zé)鏈路啟動(dòng)、速率協(xié)商、流控和錯(cuò)誤恢復(fù)M-PHY則負(fù)責(zé)真正的物理信號(hào)收發(fā)。調(diào)試時(shí)建議用這個(gè)分層模型來(lái)隔離問(wèn)題如果命令發(fā)出后沒(méi)有任何中斷回應(yīng)優(yōu)先查傳輸層和設(shè)備狀態(tài)如果命令正常但吞吐量低再到UIC層看速率協(xié)商和Lane數(shù)量如果掉電重啟后鏈路穩(wěn)定但系統(tǒng)喚醒時(shí)報(bào)錯(cuò)重點(diǎn)查DeepSleep和鏈路恢復(fù)流程。3. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)3.1 UTRD和UPIU讀懂協(xié)議的兩把鑰匙整個(gè)UFS傳輸機(jī)制的核心可以濃縮成一句話主機(jī)在內(nèi)存中構(gòu)造UTRDUTRD指向一組UPIU緩沖區(qū)和PRDTPhysical Region Descriptor Table寫Doorbell寄存器通知設(shè)備設(shè)備執(zhí)行完再通過(guò)CQCompletion QueueDoorbell和中斷通知主機(jī)。這段話里包含了大量信息逐個(gè)拆開看。UTRD的數(shù)據(jù)結(jié)構(gòu)大致包括命令類型命令UPIU、任務(wù)管理請(qǐng)求UPIU等。數(shù)據(jù)方向讀還是寫。一個(gè)指向命令UPIU緩沖區(qū)的地址。一個(gè)指向響應(yīng)UPIU緩沖區(qū)的地址。PRDT的物理地址和條目數(shù)??倲?shù)據(jù)傳輸字節(jié)數(shù)。PRDT是DMA傳輸?shù)年P(guān)鍵。UFS采用S/G表機(jī)制主機(jī)側(cè)物理內(nèi)存未必連續(xù)系統(tǒng)可以把一次大塊讀寫拆成多個(gè)不連續(xù)的物理段每個(gè)PRD條目記錄一段物理地址和長(zhǎng)度。設(shè)備根據(jù)PRDT拿到數(shù)據(jù)完成寫入或讀取。這里的經(jīng)典坑在于PRDT條目的地址必須是物理地址而且對(duì)齊要求很嚴(yán)格通常要求對(duì)齊到32字節(jié)或64字節(jié)具體以主控手冊(cè)為準(zhǔn)長(zhǎng)度字段則是按塊粒度對(duì)齊。如果上層傳下來(lái)的S/G表項(xiàng)不是塊大小的整數(shù)倍底層驅(qū)動(dòng)需要處理尾部部分塊這是很多寫DMA路徑的工程師容易漏掉的細(xì)節(jié)。UPIU是UFS傳輸?shù)淖钚 靶欧狻背R婎愋桶∟OP OUT UPIU用于鏈路?;詈统瑫r(shí)檢測(cè)。COMMAND UPIU承載SCSI命令CDB是正常讀寫命令的載體。RESPONSE UPIU設(shè)備返回的命令執(zhí)行結(jié)果攜帶狀態(tài)、Sense Data長(zhǎng)度等信息。DATA IN UPIU / DATA OUT UPIU數(shù)據(jù)階段傳輸分別對(duì)應(yīng)讀和寫。TASK MANAGEMENT REQUEST UPIU承載任務(wù)管理請(qǐng)求。QUERY REQUEST UPIU / QUERY RESPONSE UPIU用于設(shè)備管理讀寫Descriptor、Attribute、Flag。每個(gè)UPIU都有固定的頭部結(jié)構(gòu)其中LUN邏輯單元號(hào)、Task Tag任務(wù)標(biāo)簽、Expected Data Transfer Length期望傳輸長(zhǎng)度都是高頻使用字段。排查命令掛起問(wèn)題時(shí)要養(yǎng)成先看Task Tag的習(xí)慣它能把UFS設(shè)備內(nèi)部的任務(wù)和主機(jī)側(cè)提交的任務(wù)一一對(duì)應(yīng)起來(lái)。3.2 數(shù)據(jù)傳輸流程一次讀命令的完整旅程以一次從UFS設(shè)備讀取4KB數(shù)據(jù)的命令為例完整流程如下上層文件系統(tǒng)或塊層構(gòu)造一個(gè)讀請(qǐng)求SCSI層生成READ(10)命令CDB。ufshcd驅(qū)動(dòng)分配一個(gè)UTRD初始化命令UPIU、響應(yīng)UPIU緩沖區(qū)并把本次讀的PRDT填好。驅(qū)動(dòng)把UTRD的物理地址寫入主機(jī)控制器的UTRLDBRUTP Transfer Request List Doorbell Register置位相應(yīng)bit。設(shè)備端看到Doorbell置位后通過(guò)UniPro鏈路讀取UTRD和命令UPIU。設(shè)備解析CDB訪問(wèn)Flash把讀取到的數(shù)據(jù)組裝成DATA IN UPIU按總長(zhǎng)度拆分成多幀傳輸。設(shè)備通過(guò)Host Controller的UTRLCLRUTP Transfer Request List Clear Register寄存器清掉Doorbell對(duì)應(yīng)bit并產(chǎn)生中斷。主機(jī)在中斷處理中檢查響應(yīng)UPIU的狀態(tài)字段數(shù)據(jù)已經(jīng)由Controller通過(guò)DMA直接寫入主機(jī)內(nèi)存。這個(gè)流程里面藏著幾個(gè)關(guān)鍵點(diǎn)。第一數(shù)據(jù)搬運(yùn)不完全依賴設(shè)備端“發(fā)數(shù)據(jù)包”主機(jī)控制器的DMA引擎會(huì)根據(jù)PRDT把從UniPro接收到的數(shù)據(jù)直接搬運(yùn)到系統(tǒng)內(nèi)存。第二UTRLDBR和UTRLCLR的配合是命令生命周期的主線任何一環(huán)卡住都會(huì)導(dǎo)致命令超時(shí)所以抓日志時(shí)這幾個(gè)寄存器的歷史值非常有價(jià)值。3.3 命令超時(shí)的排查思路與現(xiàn)場(chǎng)日志分析在UFS調(diào)試中命令超時(shí)是我遇到最多的異常類型。它的表現(xiàn)通常是上層I/O卡住系統(tǒng)日志里出現(xiàn)xxx命令請(qǐng)求超時(shí)如Device failed to respond或者任務(wù)管理函數(shù)失敗。排查步驟建議這樣第一步確認(rèn)命令是否真正提交到了設(shè)備側(cè)。抓取UTRLDBR寄存器狀態(tài)如果Doorbell bit一直沒(méi)有被清掉說(shuō)明設(shè)備根本沒(méi)從主機(jī)取走任務(wù)。這時(shí)問(wèn)題大多在UIC鏈路或者設(shè)備側(cè)電源狀態(tài)而不是命令本身。第二步查看UIC層的錯(cuò)誤寄存器比如UniPro的錯(cuò)誤狀態(tài)寄存器UECPA、UECDL等看是否有物理層調(diào)通、幀重傳、CRC錯(cuò)誤等記錄。如果有大量CRC錯(cuò)誤基本可以判定M-PHY信號(hào)質(zhì)量出問(wèn)題需要檢查PCB走線、終端電阻、參考時(shí)鐘。第三步確認(rèn)設(shè)備是否處于低功耗狀態(tài)導(dǎo)致沒(méi)有及時(shí)響應(yīng)。UFS支持多種電源狀態(tài)Active、Idle、Sleep、DeepSleep如果設(shè)備進(jìn)了DeepSleep而主機(jī)側(cè)軟件沒(méi)有做喚醒動(dòng)作命令下發(fā)必然超時(shí)。我在實(shí)際項(xiàng)目里碰到過(guò)一個(gè)很典型的案例系統(tǒng)頻繁休眠喚醒后偶爾出現(xiàn)UFS命令超時(shí)。排查下來(lái)發(fā)現(xiàn)喚醒路徑中主機(jī)控制器先恢復(fù)了Link但設(shè)備還在DeepSleep狀態(tài)需要額外的設(shè)備喚醒機(jī)制。后來(lái)在喚醒處理里增加了對(duì)設(shè)備喚醒狀態(tài)的檢查并在鏈路恢復(fù)前先通過(guò)DME命令把設(shè)備從DeepSleep拉回Active狀態(tài)問(wèn)題就再?zèng)]復(fù)現(xiàn)過(guò)。4. UFS 3.1新特性解析與工程實(shí)踐4.1 WriteBooster的機(jī)制、配置與應(yīng)用場(chǎng)景WriteBooster是UFS 3.1引入的一項(xiàng)提升寫入性能的機(jī)制它的本質(zhì)是在設(shè)備內(nèi)部劃分出一塊SLC單層單元模式的緩沖區(qū)。普通TLC/QLC顆粒寫入時(shí)需要分多步編程延遲高而SLC編程只需要一到兩次延遲低得多。WriteBooster把寫入的數(shù)據(jù)先快速寫到SLC緩沖區(qū)然后由設(shè)備在后臺(tái)把數(shù)據(jù)搬移到TLC/QLC區(qū)域從而降低主機(jī)側(cè)感知的寫延遲。在Linux內(nèi)核中通過(guò)UFS設(shè)備管理器提供的bWB相關(guān)Descriptor和Attribute來(lái)配置WriteBooster關(guān)鍵參數(shù)包括bWriteBoosterBufferType緩沖區(qū)類型一般配置為SLC模式。dWriteBoosterBufferSize緩沖區(qū)大小這個(gè)值直接由設(shè)備固件決定主機(jī)只能讀取。dWriteBoosterBufferLifeTimeEstSLC緩沖區(qū)的壽命估算可以直觀了解設(shè)備的擦寫壓力。工程上需要特別注意WriteBooster的緩沖區(qū)本質(zhì)上是借用NAND壽命換性能。如果SLC緩沖區(qū)寫滿設(shè)備需要做“強(qiáng)制回寫”Forced Flush這時(shí)突發(fā)寫入會(huì)被拖慢同時(shí)在回寫過(guò)程中不能斷電否則存在數(shù)據(jù)一致性風(fēng)險(xiǎn)。實(shí)際測(cè)試中我會(huì)用fio先做小文件隨機(jī)寫壓測(cè)觀察前幾十GB的寫入延遲是否明顯低于穩(wěn)定期再對(duì)比穩(wěn)定期寫入速度以此判斷WriteBooster是否存在配置問(wèn)題。4.2 HPB的映射緩存機(jī)制與調(diào)優(yōu)心得HPB的全稱是Host Performance Booster它的出現(xiàn)是因?yàn)閁FS設(shè)備使用NAND時(shí)需要一個(gè)FTLFlash Translation Layer映射表把邏輯地址轉(zhuǎn)換成物理地址。在TLC/QLC時(shí)代映射表本身不小如果設(shè)備端每次讀命令都要查一遍映射隨機(jī)讀性能會(huì)受影響。HPB的思路是把映射表的一部分“借”到主機(jī)內(nèi)存中緩存設(shè)備通過(guò)UPIU向主機(jī)提供映射表信息主機(jī)下發(fā)讀命令時(shí)可以把對(duì)應(yīng)的映射條目一起發(fā)給設(shè)備省掉設(shè)備端查表的過(guò)程。HPB在Linux內(nèi)核的實(shí)現(xiàn)比較復(fù)雜涉及ioctl接口、hpb相關(guān)sysfs節(jié)點(diǎn)、以及UFS驅(qū)動(dòng)新增的映射管理邏輯。調(diào)HPB時(shí)我踩過(guò)幾個(gè)坑主機(jī)內(nèi)存中緩存的映射表必須與設(shè)備FTL保持同步否則會(huì)產(chǎn)生讀數(shù)據(jù)錯(cuò)誤。因此設(shè)備端GC垃圾回收導(dǎo)致映射變化時(shí)需要向主機(jī)發(fā)送失效通知。HPB區(qū)域不是所有LBA范圍都使能的通常只對(duì)設(shè)備指定的一段區(qū)域生效。測(cè)試時(shí)如果沒(méi)有先在設(shè)備上使能HPB區(qū)域后續(xù)所有HPB相關(guān)參數(shù)都不會(huì)生效。啟用HPB后隨機(jī)讀性能的提升不是無(wú)條件的。在映射表穩(wěn)定、碎片化程度較低的場(chǎng)景下提升幅度能到30%以上但如果設(shè)備本身映射表經(jīng)常更新HPB反而可能因?yàn)榫彺媸幚矶黾娱_銷。4.3 DeepSleep功耗狀態(tài)與喚醒流程UFS 3.1的電源管理狀態(tài)包括Active、Idle、Sleep、DeepSleep。DeepSleep是功耗最極端的模式幾乎關(guān)閉了設(shè)備內(nèi)部除少量喚醒邏輯外的所有供電代價(jià)是從DeepSleep恢復(fù)到Active耗時(shí)較長(zhǎng)耗時(shí)可能在幾十毫秒甚至百毫秒級(jí)別。系統(tǒng)設(shè)計(jì)時(shí)要權(quán)衡短時(shí)暫停用Sleep即可長(zhǎng)時(shí)待機(jī)才應(yīng)該進(jìn)入DeepSleep。在移動(dòng)平臺(tái)上我一般建議這樣配置系統(tǒng)suspend時(shí)先把UFS鏈路切到Sleep狀態(tài)。如果預(yù)計(jì)待機(jī)時(shí)間較長(zhǎng)如超過(guò)數(shù)分鐘再通過(guò)設(shè)備管理命令把設(shè)備切到DeepSleep。喚醒時(shí)主機(jī)控制器先復(fù)位Link然后通過(guò)DME命令讓設(shè)備退出DeepSleep再重新啟動(dòng)鏈路和對(duì)齊流程。這個(gè)流程里最容易出問(wèn)題的就是“鏈路先于設(shè)備恢復(fù)”。設(shè)備還處于DeepSleep時(shí)如果主機(jī)嘗試通過(guò)Link發(fā)送命令會(huì)出現(xiàn)dme_error或者命令超時(shí)。因此軟件恢復(fù)流程必須嚴(yán)格遵循“設(shè)備先恢復(fù)鏈路后啟用”的順序。5. 常見問(wèn)題排查技巧與避坑指南5.1 經(jīng)典問(wèn)題速查表現(xiàn)象可能原因排查方法UFS設(shè)備無(wú)法識(shí)別供電時(shí)序不對(duì)、頻率配置錯(cuò)誤檢查電源軌、參考時(shí)鐘抓Link啟動(dòng)階段的DME錯(cuò)誤命令超時(shí)設(shè)備低功耗未喚醒、鏈路物理異常抓取UTRLDBR狀態(tài)和UIC錯(cuò)誤寄存器順序讀吞吐量低速率協(xié)商失敗只跑到HS-G1或HS-G2檢查UniPro配置、發(fā)送預(yù)加重/均衡參數(shù)隨機(jī)讀性能差HPB未正確啟用或映射失效頻繁檢查HPB region配置和hit ratio寫入速度突然下跌WriteBooster SLC緩沖區(qū)寫滿觀察Force Flush事件測(cè)試穩(wěn)定期寫入性能運(yùn)行一段時(shí)間后I/O出錯(cuò)高溫導(dǎo)致信號(hào)完整性劣化排查供電、散熱、M-PHY通道串?dāng)_5.2 抓日志與現(xiàn)場(chǎng)復(fù)現(xiàn)的獨(dú)家技巧在UFS調(diào)試中最有效也最容易被忽視的動(dòng)作是抓完整的歷史寄存器狀態(tài)。很多工程師遇到超時(shí)后直接重啟設(shè)備結(jié)果關(guān)鍵現(xiàn)場(chǎng)丟失。推薦做法是在代碼里保留UFS相關(guān)所有寄存器的環(huán)形緩沖結(jié)構(gòu)包括UTRLDBR、UTRLCLR、UTRSTATUS、UIC錯(cuò)誤寄存器中斷處理函數(shù)里實(shí)時(shí)更新。在命令超時(shí)后不立即復(fù)位而是先暫停指令流把環(huán)形緩沖區(qū)的寄存器歷史值打印出來(lái)和抓取的波形數(shù)據(jù)對(duì)比。這套方法幫我在多個(gè)項(xiàng)目里快速鎖定過(guò)“中斷丟失導(dǎo)致命令卡死”的問(wèn)題。中斷丟失的根因往往是設(shè)備發(fā)出的完成中斷與主控側(cè)的中斷mask寄存器配置不匹配或者中斷線在系統(tǒng)suspend/resume過(guò)程中被意外shutdown。如果把中斷狀態(tài)寄存器一并打進(jìn)環(huán)形緩沖這類問(wèn)題的定位時(shí)間可以從半天縮短到半小時(shí)以內(nèi)。5.3 鏈路質(zhì)量與信號(hào)完整性檢測(cè)M-PHY是UFS 3.1高性能傳輸?shù)牡鼗?。很多吞吐量不達(dá)標(biāo)的問(wèn)題根源不在協(xié)議層而在物理層信號(hào)質(zhì)量。判斷信號(hào)質(zhì)量可以看三個(gè)關(guān)鍵指標(biāo)眼圖、誤碼率、信號(hào)完整性抖動(dòng)。工程環(huán)境下沒(méi)有高端示波器時(shí)至少可以做兩件事一是檢查UFS控制器上報(bào)的CRC錯(cuò)誤計(jì)數(shù)二是用設(shè)備端回環(huán)測(cè)試Loopback驗(yàn)證物理鏈路?;丨h(huán)測(cè)試可以分別測(cè)PHY到PHY的傳輸以及Controller到Controller的完整通路從而把問(wèn)題域縮小到固定層面。如果CRC錯(cuò)誤持續(xù)增長(zhǎng)優(yōu)先懷疑終端電阻不匹配或者走線阻抗連續(xù)性不佳而不是懷疑協(xié)議軟件邏輯。6. UFS 3.1協(xié)議分析工具鏈與測(cè)試方法6.1 Linux用戶態(tài)工具與協(xié)議跟蹤Linux平臺(tái)做UFS測(cè)試有幾個(gè)常用的用戶態(tài)工具我逐一說(shuō)明適用場(chǎng)景ufs-utils提供針對(duì)UFS設(shè)備管理器的用戶態(tài)工具可以讀取/寫入Descriptor、Attribute、Flag。通過(guò)它可以直接觀察WriteBooster的緩沖區(qū)大小、HPB狀態(tài)、設(shè)備壽命信息比直接改內(nèi)核代碼方便很多。fio性能基準(zhǔn)測(cè)試的標(biāo)準(zhǔn)工事。UFS測(cè)試建議分別測(cè)順序讀寫、隨機(jī)讀寫同時(shí)加入混合讀寫模式和不同的隊(duì)列深度用隊(duì)列深度1、4、16、32分別觀察性能曲線。blktraceiostat定位請(qǐng)求在塊層的排隊(duì)情況。如果塊層排隊(duì)時(shí)間過(guò)長(zhǎng)說(shuō)明SCSI層或者UFS驅(qū)動(dòng)有瓶頸如果排隊(duì)很短但請(qǐng)求始終不完成問(wèn)題可能在設(shè)備側(cè)。/sys/kernel/debug/ufshcd內(nèi)核UFS驅(qū)動(dòng)的debugfs節(jié)點(diǎn)。不同平臺(tái)暴露的內(nèi)容不一樣但通常包含命令歷史、錯(cuò)誤狀態(tài)、鏈路速率等關(guān)鍵字段。6.2 性能測(cè)試的具體操作流程以fio為例一組有意義的UFS 3.1性能測(cè)試步驟是先執(zhí)行blkzone reset或者全盤TRIM確保測(cè)試前設(shè)備處于干凈狀態(tài)。用順序讀測(cè)試拿上限基準(zhǔn)fio --nameseqread --rwread --bs1m --size2g --iodepth32 --numjobs1 --direct1 --group_reporting。用順序?qū)憸y(cè)試觀察WriteBooster生效前后的差異fio --nameseqwrite --rwwrite --bs1m --size2g --iodepth32 --direct1。用隨機(jī)讀寫模擬真實(shí)業(yè)務(wù)fio --namerandrw --rwrandrw --rwmixread70 --bs4k --size2g --iodepth32 --direct1。每次測(cè)試前都記錄設(shè)備溫度和dWriteBoosterBufferLifeTimeEst因?yàn)镹AND在高溫下會(huì)觸發(fā)溫控降速不記錄溫度容易把溫控降速誤判為協(xié)議問(wèn)題。這個(gè)細(xì)節(jié)我在多次評(píng)測(cè)中吃過(guò)虧室溫從26℃升到42℃后同一塊盤的順序?qū)懶阅艿袈淞藢⒔?0%不明真相時(shí)很容易導(dǎo)向錯(cuò)誤的排查方向。6.3 如何用邏輯分析儀觀測(cè)協(xié)議交互如果需要深入觀測(cè)UFS協(xié)議交互邏輯分析儀依然是利器。UFS 3.1的HS-G4速率在11.6Gbps等級(jí)普通邏輯分析儀完全無(wú)法直接采集需要配合廠商的協(xié)議分析儀或者使用M-PHY探針轉(zhuǎn)接板。在分析時(shí)重點(diǎn)抓幾個(gè)節(jié)點(diǎn)Link啟動(dòng)階段的M-PHY速率協(xié)商序列。命令下發(fā)階段的UPIU頭字段對(duì)比Command UPIU的CDB內(nèi)容。數(shù)據(jù)傳輸階段的DATA OUT UPIU和DATA IN UPIU幀間隔。每次命令完成后的RESPONSE UPIU的Sense Data。協(xié)議分析儀的優(yōu)勢(shì)是可以把物理波形自動(dòng)解碼成協(xié)議字段期間還能統(tǒng)計(jì)各Layer的retry計(jì)數(shù)和錯(cuò)誤統(tǒng)計(jì)。但它的價(jià)格和上手門檻都不低日常調(diào)試還是建議先用軟件層日志縮小范圍確需鏈路級(jí)證據(jù)時(shí)再上分析儀。7. 從協(xié)議理解到系統(tǒng)優(yōu)化的延伸思考7.1 UFS 3.1之后UFS 4.0的傳承與變化說(shuō)完UFS 3.1不得不提一句它的后繼者UFS 4.0。UFS 4.0在鏈路速率上翻倍到HS-G5單lane速率約23.3Gbps雙lane理論帶寬可以超過(guò)7Gbps同時(shí)引入了VRSVariable Rate SuperSpeed之類的電源優(yōu)化機(jī)制和更多針對(duì)QLC顆粒的優(yōu)化策略。但底層協(xié)議框架依然延續(xù)了UFS 3.x時(shí)代建立的模型UTRD UPIU Doorbell的基本交互方式?jīng)]有變UPDATE的底層機(jī)制沒(méi)變。所以現(xiàn)在花時(shí)間把UFS 3.1協(xié)議吃透并不會(huì)白費(fèi)后續(xù)遷移到UFS 4.0時(shí)的學(xué)習(xí)曲線會(huì)平滑很多。7.2 與NVMe/UFS架構(gòu)思想的異同做存儲(chǔ)的工程師經(jīng)常會(huì)拿UFS與NVMe比較。NVMe是PCIe接口基礎(chǔ)上的協(xié)議棧使用Queue Pair機(jī)制命令提交和完成都通過(guò)共享內(nèi)存隊(duì)列完成效率極高。UFS的UTRD機(jī)制在思路上與NVMe有相似之處但UFS還保留了更傳統(tǒng)的門鈴寄存器模式和更細(xì)粒度的電源狀態(tài)管理這是由移動(dòng)設(shè)備的低功耗需求決定的。在實(shí)際項(xiàng)目中理解這兩套體系的異同很有價(jià)值如果你的設(shè)備從移動(dòng)端轉(zhuǎn)向汽車電子或邊緣計(jì)算場(chǎng)景很可能需要從UFS切到NVMe SSD那時(shí)你對(duì)Doorbell、Queue、DMA映射、Command Completion這些概念的理解都可以平移復(fù)用差異點(diǎn)只在鏈路層和命令格式上。7.3 后續(xù)可以繼續(xù)深入的方向UFS 3.1協(xié)議分析的內(nèi)容遠(yuǎn)不止這一篇文章能講完。后續(xù)可以展開的深水區(qū)包括UFS設(shè)備描述符/屬性/標(biāo)志位的完整字段解讀、SCSI命令集在UFS上的實(shí)現(xiàn)細(xì)節(jié)、UFS電源管理狀態(tài)機(jī)的完整轉(zhuǎn)移條件、UFS主機(jī)控制器的寄存器級(jí)編程指南、Flash轉(zhuǎn)換層FTL對(duì)UFS行為的影響、隨機(jī)讀性能優(yōu)化中的HPB演進(jìn)思路。我自己打算接下來(lái)抽時(shí)間寫第二部分重點(diǎn)講UPIU字段級(jí)解析和異常事件處理流程。如果你們?cè)趯?shí)踐中有有意思的UFS問(wèn)題歡迎帶著業(yè)務(wù)場(chǎng)景來(lái)討論很多協(xié)議細(xì)節(jié)在規(guī)范里寫得非常隱晦只有在具體問(wèn)題面前才能暴露出來(lái)。我在多個(gè)項(xiàng)目里反復(fù)體會(huì)到一件事UFS 3.1的穩(wěn)定性上限往往不取決于控制器和Flash的紙面參數(shù)而取決于軟件棧對(duì)協(xié)議細(xì)節(jié)的尊重程度。一個(gè)DPU字段沒(méi)配好、一次低功耗喚醒順序顛倒、一個(gè)PRDT對(duì)齊沒(méi)處理都可能在量產(chǎn)后的隨機(jī)場(chǎng)景里集中爆發(fā)。把協(xié)議吃透本質(zhì)上就是為自己的產(chǎn)品上了一道無(wú)形的保險(xiǎn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91撸色网 玖玖网 欧美| 九九热免费国产视频婷婷伊人五月| 亚洲人妻熟妇三十三区| 另类小说五月天| 熟女激情综合网| 精品无码产区一区二| 天天日日舔舔| 五月丁香婷婷色| 精品成人亚洲午夜电影| 精品一级毛片在线观看| 高清无码人妻久久久一区二区三区aⅴ| 国产日本熟女顶级一区二区三区视频 | 亚洲Av噜噜一区二区三区妖精| 亚洲综合成人网| 乱伦一区二区三区‘| 91爱剪切久久| 天天综合~91| 91精品国产91熟女| 密臀在线视频| 日本人妻丰满熟妇久久久久久| 精品久操| 老司机午夜精品福利视频一区二区| 青青草啪啪网| 国产久久日| 人人妻人人操人人乐| 91九色精品熟女内射| 国产白嫩漂亮KTV在线| av爱爱爱| 亚卅熟女乱色| www.色99| 国产蜜臀精品一区免费尤物| 亚洲男人天堂Av| 在线不卡视频| 黄色网址久久精品欧美喷水| 99热这里只有精品9| 亚洲乱码国产乱码精网站| 亚洲电影中字一区二区| 成人av在线播放| 欧美呦呦性爱| 国产精品永久免费10000| 亚洲91在线播放影院| 东京热视频网| 思思热免费在线视频| 国产精品盗摄 偷窥盗摄| 天天综合网在线观看| 91性网| 久久久一区二区三区麻豆| 超碰偷拍| 97日韩| 国产极品粉嫩馒头一线天av| 欧美日韩精品一区二区三区高清| 国产亚洲精品玖玖玖在线观看| 亚洲精品人妻吞精av| 美女黄频a美女大全免费皮| 国产综合操逼高清| 91在线美女| 国产精品 午夜福利| 久久亚洲色图中文字幕| 天天操福利视频综合网站| 97欧美日韩综合| 97超碰站| 大香蕉一线视频| 久99热| 久久久影院| 日韩国产十八禁| 91久久堂| 久久久亚洲熟妇熟女| 午夜国产成人精品视频| 国产原创自拍| 91在线丝袜视频| 亚洲情色综合网| 精品夜夜澡人妻无码AV| 国产成人无码高清| 欧美专利1区2区3区4区5区免费| 91国产大片| 国产AV人人夜夜澡人人爽麻豆| 欧美加勒比| 激情 欧美 亚洲 小说| 国产日本久久免费精品| 男人的天堂VA| 强奸乱伦中文字幕AV| 爱射综合| 97欧美日韩精品| 乱操乱伦AV| 欧美性爱精品一区二区| 国产青青美女玩逼视频| 97色碰| 性爱乱伦一区| 吊色| 亚洲国产精品9999在线观看| 性色一线| 亚洲色天堂九9| 91情色| 亚洲AV无码国产成人| 亚洲色棕合| 亚洲中文字幕久久无码精品| 久久久国产亚洲精品系列| 在线99热| 超碰久草| 粉嫩粉嫩一区性色AV片| 欧美性,色九九| 欧美的精品的视频| 精品久久99| 美女91av| 国产成人欧美一区二区三区的国产| 亚洲精品男人的天堂| WWW操逼| 日韩久久激情精品| 97视频免费在线| 久操操AV电影| 精品少妇人妻一区二区三区| 热久久国产| 日本人体九九九九九九| 941超碰| 久9视频| 久久久久久久久久久久九| 亚洲天堂少妇| 另类在线| 立川理惠被中出无码| 亚洲第一页色| 九九九九久久久久| 99热在线观看| 欧美精品97| 天天综合亚在线| 欧美se综合| 亚洲欧美日韩精品久久久一区二区 | 亚洲中文字幕在线视频一区二区| 3P丝袜熟女 色综合| 精品女同一区| 亚洲中文日韩欧美大香蕉视频| 欧美最婬乱婬爆婬性视频 | 九九九久久久| 蜜色网色哟哟| 久久精品人人做人人看| 青青草视频在线观看一区二区| 97久久久久| 色五月激情网| 91处女在线观看| 91久精品| 国产日韩欧美亚洲精品95| 亚洲色悠悠久久88| 久久丁香五月天| 亚州综合在线| 久久人妇| 6080yy午夜理论三级一区二区三区无码| 酒色综合网| 美女尤物福利视频| 久久久久亚洲av综合波多野制衣| 97超碰这里只有精品| 玖玖玖玖精品国产剧情| 9精品久久久久| 亚洲男人的天堂亚洲| 精品无码秘 人妻一区二区| 精品十三区| 天天天天天天天天天天干美女| 国产91 丝袜在线播放 | 欧美青青草视频| 日本在线不卡v二区| 欧美日韩操逼动图| 992视频一区| 丝袜视频一区二区在线播放国产中文| 丁香五月久久| 26uuu性| 天美传媒麻豆一区二区三区国产精| 97国产色综合| 日本理论在线| 精品久久无码午夜福利| 日日骚一区二区三区| AV高清一区| 久久婷婷综合国际产色怕| 欧美色图 色综合图| 综合欧美日韩在线| 一个人在线看的黄色电影网站| 日本免费人成视频播放120秒| 天天搞欧美| 91爱综合| 乱老女人一区二区视频| 亚洲精品三区在线观看| 欧美色图 色综合图| 亚洲国产青青| surenchaopeng| 人妻啊啊人妻啊| 欧美午夜视频免费观看| 日韩熟女三十乱伦| 亚洲无码日韩电影| AV女资源| 亚洲欧美综合图片| 五月天欧美色图| 大香蕉99热| 野狼激情网| 91丨九色丨国产打屁股| 大香蕉免费乱伦视频| 偷拍精品一区二区三区| 日本免费中文一区二区三区四区| 国产精品无码久久久久2025| 欧美激情一区| 国产久久久久久| 欧美黑人168页欧美黑人167| 欧美黑人日韩少妇色情| 亚洲精品97中文字幕| 超硑97精品| 天天日少妇逼AV| 97干在线视频| 韩国一级婬片A片AAAAA| 国产精品99久久久www| 人人玩人人添人人澡免费| 丰满熟女一区二区三区在线播放| 亚洲有码视频二区| 久久久久亚洲| 老熟妇乱轮| 超碰在线人人射| 蜜桃av色偷偷av老熟女| 你懂的在线观看区国产| www.亚洲黄色| 久久精品欧美一区二区三区不卡| 欧美成人A√在线一区二区| 91人妻在线视频| 国产精品夜夜| 成人免费看吃奶视频网站| 亚洲日本激情| 欧美性爱伊人| 亚洲美乱| 中文字幕人乱码中文字的预防方法 | 伊人久久88国产女| 无码91| 91欧美成人色站| 欧美有码亚洲中文字幕一区二区三区四区| 91撸色网 玖玖网 欧美| 2017大香蕉国产精品久久| 男人把坤坤插入女人的下体 | 亚洲啪AⅤ永久无码| 久久久久亚洲AV无码专区少妇| 国产无码精品成人| 黑人精品成人一区二区三区| 天天干天天拍| 亚洲综合性感在线| 91美| 26uuu偷拍亚洲欧洲综合| 欧美日本一区二区a人| 91操人| 九九九九九九九精品视频| 91人人爽人人爽| 韩国三级三级BD在线| 色网综合网| 欧洲一区二区| 成在线人在线观看视频| 男人夜色天堂ss| 三级网站超变态精品| 伊人96在线| 夜夜爽夜夜操| 嫩草一区二区在线观看| 日韩国语字幕| 欧美第一页| 国产 日韩,欧美 自拍| 日韩丰满熟妇| 亚洲熟妇图片| 日本韩国五十路六十路七十路老熟女作爱视频网站 | 97资源久久| 强奸乱伦亚洲第一页| 五月天色色色| Aa东京男人的天堂| 免费日韩黄片| 久久久久久性爱视频| 欧美人人天天网| 蜜臀久久99精品久久久久久无删减| 国产亚洲精品久久久久小| 最新国产精品久久精品| 欧美情色男人的天堂| 老熟妇一区二区三区| 在线日韩精品一区二区三区| 女人爽到高潮潮喷18禁网站| 欧美激情久久久久| 国产成人99久久亚洲综合| 久久思思热| 无码男人天堂| 内射老妇BBWX0C0CK| 婷婷操逼| 欧美少妇高潮| 日本日皮视频逼| 91黑丝美女| 久操精品| 91人妻视频在线| 日本欧美不卡| 欧美在线视频99| 99久久9| 黄片com.| 是还免费视频1727我| 91丝袜在线观看| 九九热在线视频| 国产97在线播放| 女人喷水视频在线观看| 久久久久久久久久久久久女过产乱-少妇高潮一区二区三区喷水-成人AV | av爱爱爱| 亚州人妻| av无线看| 天天综合网~91综合网| 精品国产一区二区三区香蕉欧美| 伊人国产av| 日韩视频中文字幕| 成人日本精品九区| 影视综合无码少妇| 天天综合网~91综合网| 国产区性爱在线视频秋霞豆| 另类成人首页一区| 五十路三区在线| 韩国一级做A片免费的| 青木玲在线不卡| 欧美老妇曰批的视频| 亚州乱码中文字幕综合久久久| 好爽免费视频| 热天堂一区二区| 国产精品点击进入在线影院高清| 欧美最婬乱婬爆婬性视频| 天美传媒婬乱| 亚洲Av噜噜一区二区三区妖精| 欧美日韩电影成人在线| 中文久久96| 国产激情av女片自拍| 久久精品99久久久久久| 99精品热| 日韩一级久久毛片| 亚洲999综合| www黄片免费看com| 亚洲丝袜综合| 青青欧洲黑| 亚洲免费人妻在| 啊啊啊啊啊啊啊啊视频| 久久爽爽精品| 丁香六月啪| 日韩欧美亚欧在线视频| 9999亚洲精品| 日本 欧美 亚中文字幕| 天天日天天干天天色| 国产熟女精品区| 九月丁香| 久久成人午夜精品影院| 欧美96精品在线| 亚洲天堂第一页| 久久久久久国产精品免费网站| 国产伊人精品在线| 狠综合网| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 久九9精品| 天天操天天插| 国产理论视频在线播放| 亚洲 暴爽 AV人人爽日日碰| 91强在线播放| 91久精品| 99免费视频| 亚洲精品国产熟女| 欧美性爱第一页久久| 91欧美丝袜| 亚洲 综合 欧美| 再深点灬舒服灬太大了添视频 | 91丨熟女丨丰满熟女| 欧美色网络| 色网综合网| 超碰激情808| 极品极品色影院| 精品中文字幕第一页| 伊人骚琪琪亚洲天堂网站| 久久日本熟女精品一区| 精品中文字幕第一页| 天天综合网久久ww| 婷婷久久综合| 亚洲超碰AV| 秋霞Av理论一级在线| 亚洲高清男人天堂| 国产丰满少妇久久久精品影院| 亚洲黄色影视| 丰满人妻av一区二区三区| 久久透逼视频| 久久久久久久久久久免费精品| 91天堂| 亚洲在线观看| 国产91丝袜 在线播放| 久久久久人| 亚洲成人色情五月天丁香花| 久久蜜桃综合网| 射 色综合| 99热这里只有精品9| 在线观看日韩av不卡| 操逼无码一区| 91快色色色色色| 国产精品亚洲天堂网址| 亚洲无线码欧洲精品区别| 91精品人妻一区二区三区蜜臀| 久久超碰天天| 精品少妇一区二区| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 国产福利视频精品视频| 亚洲一区二区三区在线激情| 丁香五月久久| 国产激情久久久| 丁香五月色| 丁香六月婷婷| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 狠狠操狠狠插| 五月天婷婷欧美三区| 亚洲成?V人片在线观看福利| 久久久五月天| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 欧美黄片视频在线观看免费 | 蜜桃久久久久久久| 五月婷婷hd| 久久久久亚洲精品| 好爽要喷了| 天天天肏屄肏屄肏屄欧美欧美| 九七色图| 91AV入口| 乱伦av国产| www.色婷婷| 久久国产精品91| 99青青草国产视频| 99色在线| 日本人妻最新在线中| 国产v片在线免费观看| 欧亚性爱啪啪| 无码免费一区二区三区啪啪| 久久综合女优| 亚洲人精品午夜不卡| 蜜臀久久99精品久久久久久酒店| 成人精品在线免费视频| 中日亚韩免费视频| 美中韩AV综合网| 久久久久国产精品久久久| 超碰免费97| 久久亚洲AV成人精品无码| 九九热在线视频| 在线综合 亚洲 欧美中文字幕 | 色臀av| 99久国产精品午夜性色福利| 色综合尤物| 国内精品不卡无毒99999| 超碰到97情色| 久久久精品中文字幕爱豆| 日本青青草在线| 国产精品免费日韩| 麻豆精品久久久久久久| 校园春色综合香蕉| 91日韩| 操比国产| 小骚逼被操的爽不爽| 大香蕉久久| 成人八戒网站| 吉田爱美AV在线| 亚洲毛片久久| 人人扣人人操| 天美麻豆黄色录像| 国产av波波国产精品| 亚洲男人天堂Av| 久久久久久久9最新免费视频观看| 九九九九国产| 大香蕉AV在线| 日本幼女18+| 免费公开人人操| 久久超碰、| 老熟女91| 色情综合网| 人人九九精| 园内精品自拍视频在线播放| 久久综合精品一区二区三区| 日韩大香蕉| 99热自拍| 天天综合欧美| 男人的天堂2010| 九九九九九九综合| 色婷亚洲五月在线观看| 日韩人人精品| 国产精品一区二区黄片| 亚欧美色图| 粉嫩不卡一区二区性爱| 久久噜噜噜精品国产亚洲综合| 国产精品熟女九色九色蜜臀| 欧美国产成人在线| 日日插夜夜| 少妇极品熟妇人妻无码| 国产精品原创巨作?v网站| 韩日男人的天堂| 乱伦熟妇一区二区| 日韩精品9999| 亚洲中文日韩精品| 麻豆国产原创AV色哟哟| 射久久| 啊啊啊不要嗯嗯在线观看| 亚洲熟女乱色| 欧美性Fer办公室秘书| 欧美日韩香蕉| 久久精品综合| 久久婷婷五月天| 黄页| 久久久久一本一区二区青青蜜月| 久久精品国产亚洲AV高清演员表| 久久超碰98| 精品亚洲黄色片 国产精品导航一区二区| 色哟哟1区2区| 99re这里| 99rre在线精品99re8| 夜夜草网站| 蜜臀AV午夜精品久| 中文字幕天天天天天| 中文字幕五月婷婷免费| 九久久精品| 激情五月天婷婷| 日本人妻丰满熟妇久久久久久| 99天天超碰| 唐山老熟妇露脸啪啪叫| 中国91AV| 精品人妻一区二区乱码一区二区| 久久黄色性爱视频| 中文乱码字幕观看| 97超视频在线观看| 3571色综合一区二区二区| 亚洲人体视频在线观看| 超碰久久综合| 日本少妇va7777| 国产AV激情无码久久无码 | 久久夜夜| 99re在线视频国产| 大香蕉AV丝袜| 婷婷深爱五月| 午夜福利无毒不卡| 家庭乱伦网站国产| 极品肉射| 搡老女人老91妇女熟女| 欧美在线伊人色| 国内毛片无码一级毛片| 91精品久久久| 百度百度日本操逼| JuliaAnnXXX888| 中文字幕神马久久| 老师充足的奶水小说| 丝袜大香蕉| 双插性欧美一二三区| 久久狠狠色噜噜狠狠狠狠97| 熟女少妇一区二区三区| 日韩无码AB| 99国产在线绯色一区| 五月丁香六月婷| 国产野战露脸在线播放| 操逼A∨| 97在线观| 亚洲欧美日韩二区视频| 亚洲天天影视色综合| 97色冈| 亚洲色五月| 天天草天天干天天日| 久久无码成人| 久久五十路熟女人妻| 亚洲一区中文精品| 天堂v无码免费视频| 久久久久久加勒比| 大逼色网站| 99rre在线精品99re8| 好一吊区二区| 九九这里只有精品| 丁香7月婷婷| 中文字幕乱偷人妻久久艾草网| 国产精品高潮久久AV| 丝袜性亚洲| 裸体女人草逼视频播放一区,二区,三区,四区,五区| 亚洲欧美精品一区天堂久久| 玖玖视频在线资源一区二区三区| 天天干,夜夜爽| 五月丁香六月激情综合| 中文字幕日韩综合| 99青草| 91色综合激情| 夜草欧美| 91网站在线播放| 91模特在线观看| 美女黄页网站| 日韩精品资源专区二区| 秋霞免费无码视频日韩A片| 五月天色图影视| 久久色情| 九九九久千久久激情蜜桃在线看| 殴美综合色88| 长久操视频| 人人澡人人澡人人| 色欧美亚洲| 麻豆天美91| 亚洲欧美在线观看无码| 无码高清专| 99色在线| 干b在线性社区| 久久精品99久久久久久| 大鸡巴久久| 欧色网址| 国产成人+综合亚洲+天堂| 天天天天干| 精品国产网站| 欧美亚洲宗合色性图| 色综合 加勒比| 怡红院成人视频| 一区二区三区国产在线播放| 黄色激情电影在线观看| 蜜乳AV色欲AVAV无码| 综合色图亚洲欧美| 欧美人妻中出| 亚洲性高潮| 日韩激情无码影院| 女人被添高潮免费视频| 1024精品在线| 欧美18 在线观看| 91 亚洲 欧美 日韩 国产 综合| 亚洲va综合va国产va中文| 欧美一二三区四五区| 麻豆a'v电影| 麻豆久久一区二区三区| 欧美精品久久久久久久久88| WWW4虎| 九九免费影片| 欧美大波激情xxxx| 五月婷婷六月丁香| 天堂亚洲精品久久老牛| 日韩欧无码一区二区三区免费不卡| 精品视频免费在线一区| Av色五月| 热热色中文无码| 太久视频| A啊啊在线观看| 欧美天天干| 熟妇操花| 九九综合网| 澳门黄片一香蕉视频| 日韩久久三区| 国产精品另类一区大香蕉| 一级岛国大片| 91 手机在线播放 绯色| 人人操人人精品影片| 2020中文在线一区二区三区| 青苹果影院男人的天堂| 亚州男人天堂| 欧美日韩成人在线| 亚洲色系另类精品国产| 920日本午夜免费| 5252色欧美在线男人的天堂| 欧美色性爱| 青青青艹在线视频| 国产高清精品一区二区三区毛片 | 日韩ab网| 内射老妇BBWX0C0CK| 东北夫妻性偷拍| 超碰美国| 九九热九九热| 亚洲天堂精品日韩电影| 欧美性天天影视| www欧美91| 大香蕉综合在线| 欧美综合色| 婷婷99狠狠| 97超碰欧美精品| 亚洲五月丁香花狠狠干一区二区三区 | 91熟女综合| 色999人与兽| 懂色AV蜜臀无码精品APP| 9 7超碰在线免费观看| 一中国女人毛片水真多| 中文字幕一区二区三区蜜臀| 久久精品国产亚洲AV先锋| 丝袜六区| 日B操| 蜜桃精品视频一区| 天天干干天天干干| 亚洲天堂电影网| 国产免费久久久久| 亚洲97在线观看| 91麻豆天美传媒HD| 日韩欧美tv一区二区在线观看| 走光一区92下载| 国产在线视视频有精品| 亚洲色宗合| 中文字幕日韩精品一区二区三区| 做爱A级亚欧| 四虎影视 亚洲无码| 成人情色一区二区| 眼镜人妻101.com| 亚洲美女黄色| 日韩另类色图| 国产一区二区三区视频在线看| 蜜乳中文字幕a在线| 久久一留热品黄| 国产 亚洲 丝袜 制服| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 国产精品永久免费10000| 国产精品在线一区二区| 国产欧美日韩女同性恋ww喷水精品| a片在线播放| 97资源站久久| 九一综合精品视品av| 1禁看欧美黄片免费看| 丰满人妻一区二区三区| 无码久| 九九久久九九久久| 欧美日韩精品一区二区三区高清| 91丝袜| 97天天插| 91夜夜蜜桃臀1区2区3区| 亚洲午夜福利在线影院 | 精品十三区| 亚洲国产无码精品首页久久久| 亚洲不卡三级手机播放| 9999九九九久久久| 亚洲青青青视频在线| 成人无码影片视频在线| 操逼无码操逼| 91综合网站| 无码九九| 小明看看网址| 在线啊啊啊啊| 亚洲综合激情五月久久| 天天日B夜夜干B时时操B| 国产精品久久久久无码Av网曝门| 97欧美日韩精品| 日本孕妇孕交| 操逼内射干逼白丝91| 91色情黑丝搞鸡在线观看一区二区三区三州 | 欧美黄片欧美黄片xxx| 欧洲黄色网| 天天日夜干| 久久婷婷一区| 九热超碰| 搡老女人老91妇女熟女| 秋霞一区二区三区四区五区六区七区| 欧美色偷拍| 亚洲色五月| 91精品黄在线观看| 懂色AV蜜臀无码精品APP | 国产盗摄美女如厕大神作品在线观看| 夜夜爽77777| 丁香五月天激情综合| 亚洲色图欧美视频| 日韩丝袜二区| 999国产精品999| 日本在线播放不卡一区| 裸体美女久久久| 少妇国产不卡| 中文字幕视频在线观看一区二区| 亚洲色堂免费视频| 四虎永久在线精品免费网址 | 少妇久久久久久久久| 美女黄站| 中文乱码字幕观看| 玖草在线视频| 97超碰人人操人人操| 成人五月天丁香激情综合| 96精品久久久久久久久| 九七超碰| 午夜啪| 日本狂喷奶水在线播放212| 欧美偷拍区| 欧美性爱1080p| 午夜福利视频在线一区| 日本理论在线| 狠狠色色| 九九热精品在线| 爱欲AV| 九九九九九九九九九九九九九九九女| 亚洲欧美综合图片| 97jingpin| 夜夜无码| www国产精品| 激情五月天中文字幕色| 八戒无码国产午夜福利| 久久精品国产亚洲AV高级北京| 伊人网综合在线视频| 国产呦精品一区二区三区下载| 人人考人人摸人人干| 亚洲天堂电影精品一区| 九九五月天| 四虎精品永久在线播放| 激情熟女12P| 久草视频在线视频在线视频在线观看 | 视频国产欧美在线播放| A级毛片在线看免费| 强奸乱伦av电影| 这里只有精品久久| 日日夜夜国产综合| 精品少妇一区二区三区| 欧美牲| 盗摄女人妻在线| 久久人妻视频网| 国产九区| 五月情色天| 一级毛片久久久久久久女人18| aaaa黄片| 久久综合日韩亚洲欧美| 国产AV线| 五月天丁香| 91大神电影天堂| 中文字幕一区二区三区蜜桃视频| 97亚洲在线| 国产h片在线观看视频| 亚洲激情在线| 国产欧美成人精品| 中文乱码字幕观看| 国产 丝袜 欧美中文 另类| 蜜色网色哟哟| 淫纸中9区| 国产高清无码一区三区二区| 又黄又爽在线观看视频 | 蜜乳AV免费观看| 国产欧美日韩在线不卡第一页| 中文字幕一二三区| 密臀在线视频| 日韩人妻播放| 久草资源在线视频官方总站日韩丝袜美腿| 208天天久久九九九| 久久天天艹| 国产黄a三级三级三级av在线看 | 亚洲第一综合| 美女网站黄页| 中文字幕亚洲永久精品| 秋霞男人网| 97免费视频在线| 探花精品视频| 激情综合网一盗摄| 成人av福利在线观看| 亚州少妇| 欧美综合网在线| 婷婷亚洲综合| 97精品一区| 日本成人电影资源网| 1二区9| 国产成人91一区二区三区| 欧美九9 9 9| 欧美热图99| 久9热| 日韩日韩日韩-国产乱码精品一区二区| 思思热久久成人| 色爱欲亚洲| 黄视频免费| 美女的肌被草喷水视频| 午夜视频黄| 日本女厕偷拍| 亚洲性爱成人| 一区 欧美 日韩 麻豆| 欧美精品69性爱| 亚洲伊人久久精品狠狠在线| 天天综合网网欲色| 欧美专利1区2区3区4区5区免费| 精品久久久久久久| 亚州宗合另类| 中文字幕在线免费观看2| 炮色五月| 亚洲男人久久综合天堂| 九九英色视频| 色色色色日本| 五月天亚洲网| 大香蕉五月天| 青青久久艹| 亚洲另类久操网| AA级电影三区| 亚拍在线| 日本岛国黄色网址| 五月婷亚洲精品天堂| 91 丝袜在线| 亚洲天堂AV在线播放| 天天爱综合网| 91丨九色丨东北熟女| 亚洲欧美情色| 二级久久网| 91久久精品中文字幕| 久草电影网| 亚洲av夫妻操穴网| 日本精品网站在线中文| 天堂涩涩| 红杏大香蕉| 老子午夜伦不卡影院| 中文字幕诱惑制服人妻丝袜美丝袜美| 日韩欧美国产高清视频| 久久久性爱| 99蜜桃臀亚洲成人在线观看| 精品v日韩欧美国产| 97国产精品一区| 国产农村妇女精品1区二区| 亚洲中文日韩欧美大香蕉视频| 噜噜瑟| 亚洲最大的黄色电影网站。| 九月丁香婷婷色| 2017天天插| 欧美后入视频| 日韩高潮一区| 国产乱色国产精品免费视| 九九热只有精品| 亚洲综合网图| 97人人操人人干| 欧美一级美片在线观看免费| 日本ZZ高免费A级视频| 亚洲。日韩。欧美| 99日精品欧美国产| 国产精品第一区第一页| 日本2020一区二区| 97色涩| 91色情黑丝搞鸡在线观看一区二区三区三州 | 精品黑人一区二区| 欧美Ⅴ性爱| 日韩久射综合| 在线情色电影 91大| 欧州色图区| 黄片无码在线制服| 日韩中文字幕国产| 好爽视频在线观看视频 | 久久久久久国产成人| 亚洲第一页色网| 欧美日韩亚洲电影| 亚洲熟妇熟在线电影视频| 337p大胆噜噜噜噜噜91Av| 6080YYY午夜理论片在线观看| 久久人妻熟女一区二区| 国产热av| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 思思热一热婷婷热一热| 天天色综合图片| 美女被艹尤物视频| 色婷婷视频| 自拍偷拍第26| 国产91影院| 中出欧美| 91观看 国产白丝| 综合色久欲| 91老熟女老女人国产老太| 第45页一区二区| 久久手机视直播| 天美av在线观看| 熟妇在线视频一区二区| 五月激情在线| 六月丁香啪啪| 日韩三级一区| 男人的天堂亚洲| 色99色| www.色婷婷| 天天操天天插| 日本免费中文一区二区三区四区| 日本国产成人亚洲精品无码| 亚洲无码一区二区三区三州| 亚洲砖码砖专无区2023| 影音先锋乱| 婷婷中文网| 亚洲一区二区性爱电影| 强免费黄色网址| 成人性爱全视频观看| 乱伦AVxx| 国产又粗又长又爽又色| 免费毛片在线播放| 天天肏夜夜肏| 思思99热| 人妻天天爽夜夜爽爽| 国产免费大片| 伊人青青草久久| 亚洲性猛| 麻豆天天躁天天揉揉AV| 欧美劲爆第一页| 国产v亚洲v日韩v欧美v片另类| 中日韩免费看男女操逼大全| 免费家庭乱伦视频| 久操网无码在线| 中文字幕123| 丁香六月激情综合| 丰满欧美少妇| 91色黑人少妇| 91AV天堂| 97综合激情| 亚洲第一页第二页激情| 国产精品 久久久精品一牛| 强奸乱伦av电影| 99色视频| 久久、1234| 青青草五月份天| 国产97在线 | 亚洲| 东京热视频网| 91小视频| 精品视频123区小说区| 裸体1区| 97国产精品一区| 久久受www免费人成| 国产精品香蕉热久久新品| 色老汉玖玖爱| 亚洲熟久久| 96一区二区| 天天操天天射天天日| 色五月激情综合网| 亚洲精品欧洲精品| 亚洲日本大香蕉1| 97亚洲综合| 熟女色综合久久| 亚洲熟妇乱女区二区三区| 天综合网欧美| 国产日本一区二区三区蜜臀在线观看| 午夜.DJ高清在线观看免费7| 日韩乱插| 国产AV人人 夜夜人人澡| 久热这里| 成人一级性爱| 超碰公开久久网| 亚洲熟妇综合久久久久久| 黄片免费日韩| 91人妻PORNY九色大屁股| 日韩ab网 | 久久人人爽人人爽人人片Ⅴ| 精品久久久久瑟瑟| 久久有码视频| 99热99在线播放激情| 91在线欧色| 极品少妇久久久久| 在线一道啪| 色爱综合网欧美| 精品视频久久| 精品久久久亚洲AV成人网站| 日韩啪啪啪视频| 放黄片放3级黄片没穿衣服| 久久99精品视频| 亚洲999综合| 国产亚洲精品久久久久小| 五月天婷婷成人网| 国产深喉| 欧美成人黄网色网站| 人妻少妇色综合| 人人人摸人人| 啊a一区在线| 国产精品日日摸夜夜添骚逼| 伊人久久婷婷| 中文字幕精品亚洲熟女| 亚洲系列第一页| 欧美日本天堂| 亚洲高清无毛一区二区| 97激情97激情| 精品视频在线观看精品| 天天欧美色| 少妇高潮九九九九| 天天干天天干天天干| 蜜臀久久99精品久久久久电影| 色yeye成人免费视频| 噜噜噜亚洲精品| 精品欧美А∨无码黑人大荫蒂| 67194无码不卡| 热思思免费视频| yirendaxiangjiashipin| 插入逼91| 狠插 制服 自拍| 被窝影院午夜看片无码| 大香蕉综合| 一级片视频啪啪| 精品人妻一区二区三区-国产精品 一个人在线看的黄色电影网站 | 国产精品国产自产高清AV| 亚洲天堂第一页| 成人自拍三级在线观看| 男生女生啊啊啊啊| 日韩亚洲中文有码视频| 欧美激情久| AV免费在线播放一区| 婷婷精品国产欧美精品亚洲人人爽| 日韩激情中文字幕有码| 亚洲日本大香蕉1| 色色操| 3PAV乱伦视频| 日韩啪啪啪视频| 强奸乱伦资源| 91欧美www| 神马精品视频| 国产日韩区| 九草九九九| 丁香六月婷婷久久综合| 日韩欧美性爱电影在线观看| 日本天堂网| 欧美性爱91| 色偷偷2020免费视频播放| 久久久无码国精品无码三区三区| 大香蕉欧美| 色男人色天堂东京热| 久久精品国产72国产精品福利| 老司机香蕉久久久久| 久操高青| 日韩中文字幕人妻视频| 色97欧美| 极品内射| 蜜乳AV色欲AVAV无码| 久久久久九九九| 成人久久精品| 久久久性| 9久综合网| 少妇厨房愉情理伦片bd在线观看 | 欧美se综合| 快点操死我| 尤物一级在线免费观看| 天天干嫩逼网| 人妻内射一区二区在线视频| 免费看一级a性色生活片久久无| 欧美啪啪色吧在线| 怡红院成人av| 天天天天干| 国产精品嫩草影院免费| 人妻娇喘 激情视频| 大香蕉中文aV在线| 色香色欲天天综合网天天来吧| 女人天堂av在线播放| av线电影| 天天摸夜夜摸| 色婷视频| 制度丝袜99| 东京热男人的天堂| 欧美色爱综合| 大奶尤物鲍汁淫荡欧美视频粉嫩夜夜骚 | 欧美综合骚| 日本一级二级三级网站| 波多野结衣之双飞调教在线播放| 国内精品久9| 夜草欧美| 九九九综合精品| 大香蕉人妻| 郑州宾馆老熟女露脸啪啪| 中文字幕人妻资源在线| av天堂加勒比| 综合激情一一91| 日本日日色视频| 超碰97起碰| 五月丁香六月婷综合成人综合| 日韩欧美成人综合在线| 天堂亚洲精品久久老牛| 国产精品另类| 97超碰免费人人性爱| 日韩精品三区四区| 婷婷色中文字幕| 91成人精品在线播放| 俄罗斯一区二区视频在线观看| 蜜臀久久99精品久久久久久-DVD| 欧美综合在线第一页| 日日摸日日碰| 嗯嗯啊啊视频一区二区三区| 91色鬼| 欧美大码在线视频| 四虎AV在线观看| 深爱五月婷婷| 五月丁香六月激情综合| 青娱乐淫乱1314| 欧美精品久久96人妻无码| 欧美性爱1080p| 波多野结衣一级视频| 91人妻人人澡人人爽人人精品| 嗯阿好爽好紧| 国产黄片在线免费观看| 欧美视频一| www.91视频网| 久草久热| 99在线免费视频| 久久久97| 色色色色综合网| 99热日本| 天天综合精品| 久久香蕉国产传媒一区剧情天美| 91丨九色丨熟女高潮| 欧美在线播放aaaa| 九九亚洲视频| 欧亚综合一卡二卡中文字幕| 超碰99在线| 99热这里只有精| 亚洲人妻熟妇三十三区| 精品网站99999| 综合91网|