久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

DPU方案深度拆解:從硬件規(guī)格到裸金屬與虛擬化落地

DPU方案深度拆解:從硬件規(guī)格到裸金屬與虛擬化落地 簡介BlueField-2 DPU解決方案官方資料系統(tǒng)性梳理了數(shù)據(jù)中心從以CPU為中心到向DPU卸載的演進(jìn)路徑適合云計(jì)算、網(wǎng)絡(luò)虛擬化、存儲(chǔ)加速與裸金屬架構(gòu)的工程師快速建立整體認(rèn)知。資源為單份PDF文件共4.7MB體量精煉便于通讀已有807人瀏覽學(xué)習(xí)。內(nèi)容從DPU定義與片上加速引擎切入列舉6.9B晶體管、8個(gè)64位Arm核心、100Gbps IPsec、50Gbps正則匹配、5M NVMe IOPS、200Gbps以太網(wǎng)與InfiniBand等關(guān)鍵指標(biāo)并給出惡意軟件檢測、視頻流、IPsec、云網(wǎng)絡(luò)覆蓋等場景下的加速倍數(shù)同時(shí)展開安全加速、存儲(chǔ)加速、網(wǎng)絡(luò)加速與裸金屬云方案穿插ConnectX-6 Dx、Arm A72子系統(tǒng)、PCIe Gen4交換等硬件細(xì)節(jié)并引入DOCA SDK與VMware Project Monterey等生態(tài)組件。整體資料能夠幫助讀者理解DPU如何將網(wǎng)絡(luò)、存儲(chǔ)、安全等基礎(chǔ)設(shè)施負(fù)載從x86 CPU卸載支撐裸金屬與虛擬化共存的下一代數(shù)據(jù)中心這一方向?qū)ξ磥砘A(chǔ)設(shè)施演進(jìn)亦有參考價(jià)值。1. DPU 浮出水面一份方案文檔為什么被當(dāng)成云基礎(chǔ)設(shè)施的轉(zhuǎn)折點(diǎn)把網(wǎng)絡(luò)、存儲(chǔ)和安全都塞進(jìn)一顆芯片讓主機(jī) CPU 專注于業(yè)務(wù)負(fù)載同時(shí)還要支撐裸金屬和虛擬化兩種形態(tài)——這不是下一代網(wǎng)卡的愿景而是一份 2020 年底發(fā)布的 DPU 方案文檔直接給出的目標(biāo)。單純看名字DPU 似乎只是 SmartNIC 的另一個(gè)縮寫但這套方案真正要說的是數(shù)據(jù)中心本身正在成為一個(gè)可編程、可加速的計(jì)算單元。這份文檔的硬指標(biāo)很直接一顆 DPU 芯片包含 569 億晶體管、8 個(gè) 64 位精簡指令集 CPU 核心、雙 16 通道 VLIW 引擎網(wǎng)絡(luò)帶寬做到 200Gbps最高可替代約 125 個(gè) x86 CPU 核心。放在當(dāng)時(shí)的時(shí)間點(diǎn)沒有多少芯片廠商敢把“替代 125 個(gè) CPU 核心”寫進(jìn)官方材料里。更值得關(guān)注的是文檔沒有停留在硬件規(guī)格而是把安全、存儲(chǔ)、網(wǎng)絡(luò)三條基礎(chǔ)設(shè)施加速線分別成章展開并在最后引出一個(gè)生態(tài)化的開發(fā)者平臺(tái)。這套邏輯已經(jīng)超出了傳統(tǒng)網(wǎng)卡產(chǎn)品手冊的范疇更像是在定義一類新的計(jì)算基礎(chǔ)設(shè)施組件。對從業(yè)者來說這份資料值得讀的原因不是某個(gè)數(shù)字多驚艷而是它回答了三個(gè)長期懸而未決的問題裸金屬云怎么補(bǔ)上虛擬化隔離的空缺存儲(chǔ)組合如何做到讓遠(yuǎn)程存儲(chǔ)看起來像本地盤安全信任根能不能從 CPU 遷移到專用硬件上接下來的分析就從這三個(gè)問題出發(fā)逐層拆解這份方案里的信號(hào)。2. 方案拆解569 億晶體管與“替代 125 個(gè) x86 核心”的底氣來自哪里2.1 從“網(wǎng)卡”到“基礎(chǔ)設(shè)施單片系統(tǒng)”定位徹底變了方案文檔在開頭給出一組對比左邊是傳統(tǒng)硬件設(shè)備時(shí)代專門的網(wǎng)卡、專門的安全網(wǎng)關(guān)、專門的存儲(chǔ)控制器每樣設(shè)備都承擔(dān)一項(xiàng)單一職能。右邊則是軟件定義的數(shù)據(jù)中心基礎(chǔ)設(shè)施把網(wǎng)絡(luò)、存儲(chǔ)、安全、管理全部做成軟件運(yùn)行在通用的處理器上。而這份方案提出的 DPU正是這組對比的中間形態(tài)——它不是把軟件繼續(xù)堆在 CPU 上而是把這一整層軟件定義基礎(chǔ)設(shè)施搬進(jìn)一顆芯片里文檔原話叫“基礎(chǔ)設(shè)施即芯片”。從行業(yè)角度看這個(gè)定位轉(zhuǎn)變很關(guān)鍵。傳統(tǒng)網(wǎng)卡解決的是數(shù)據(jù)從網(wǎng)線到內(nèi)存的搬運(yùn)問題主要工作是校驗(yàn)、分段、中斷和隊(duì)列管理DPU 則內(nèi)置了完整的 CPU 子系統(tǒng)、加速引擎和高速網(wǎng)絡(luò)控制器能夠獨(dú)立運(yùn)行軟件棧。換句話說DPU 不再是一塊“更聰明的網(wǎng)卡”而是一臺(tái)沒有顯示器、跑基礎(chǔ)設(shè)施軟件的微型計(jì)算機(jī)插在服務(wù)器的 PCIe 插槽上替主機(jī) CPU 扛下所有重復(fù)性的基礎(chǔ)設(shè)施操作。這份文檔反復(fù)強(qiáng)調(diào)一個(gè)概念數(shù)據(jù)中心是新的計(jì)算單元。過去談算力看的是 CPU 和 GPU現(xiàn)在加上了 DPU 這一項(xiàng)。三者的分工大致是CPU 跑通用業(yè)務(wù)邏輯GPU 跑并行計(jì)算和大模型訓(xùn)練DPU 跑數(shù)據(jù)中心基礎(chǔ)設(shè)施服務(wù)。對于云廠商和大型企業(yè) IT 團(tuán)隊(duì)來說這個(gè)分工意味著選型邏輯會(huì)從“買多少核的 CPU”擴(kuò)展成“整套計(jì)算底座怎么搭”。2.2 核心規(guī)格表不是網(wǎng)卡是一臺(tái)小型服務(wù)器文檔第 6 頁給出了 BlueField-2 的完整規(guī)格可以整理成下面這張表。讀這張表時(shí)請先不要想著“這是網(wǎng)卡參數(shù)”而是把它當(dāng)作“一臺(tái) 1U 服務(wù)器的小型化參數(shù)”來看。規(guī)格項(xiàng)文檔標(biāo)注對從業(yè)者的意義晶體管規(guī)模56.9B569 億已接近當(dāng)前主流 GPU 的集成度說明是完整 SoCCPU 子系統(tǒng)8 個(gè) 64 位 RISC 核心最高 2.5GHz8MB L2、6MB L3板載獨(dú)立計(jì)算能力可跑控制面和協(xié)議棧加速引擎雙 16 通道 VLIW 引擎用于正則、加密、壓縮等固定功能卸載網(wǎng)絡(luò)能力200Gbps 以太網(wǎng) / InfiniBand支持 NRZ 與 PAM4 調(diào)制滿足下一代云網(wǎng)絡(luò)帶寬需求安全加速100Gbps IPsec50Gbps RegEx加解密與深度報(bào)文檢測可在線處理視頻流100Gbps 視頻流處理可用于轉(zhuǎn)碼、內(nèi)容識(shí)別等重負(fù)載存儲(chǔ)性能最高 5M NVMe IOPs存儲(chǔ)章節(jié)標(biāo)注 5.4M IOPs 4K小 I/O 隨機(jī)讀寫不再是主機(jī) CPU 的負(fù)擔(dān)PCIe 拓?fù)浼?PCIe 交換機(jī)16 通道 Gen4支持 Root Complex 與 End Point 模式既能做設(shè)備也能做根節(jié)點(diǎn)部署形態(tài)靈活帶外管理1GbE 管理端口管理與數(shù)據(jù)面分離運(yùn)維更安全先把晶體管規(guī)模單獨(dú)拿出來看569 億晶體管不是一顆普通網(wǎng)卡的體量它已經(jīng)進(jìn)入了 SoC 的領(lǐng)域。這意味著芯片上除了網(wǎng)絡(luò)控制器還容納了 CPU 核心、緩存陣列、各種加速引擎和 PCIe 交換結(jié)構(gòu)。8 個(gè) 64 位 RISC 核心在這個(gè)架構(gòu)里不是給業(yè)務(wù)虛擬機(jī)用的而是用來跑數(shù)據(jù)中心基礎(chǔ)設(shè)施軟件——比如 Open vSwitch 控制面、IPsec 協(xié)議棧、存儲(chǔ)虛擬化層、安全策略引擎。文檔里描述為“分片 Tile 架構(gòu)”4 個(gè) Tile 之間共享 L3 緩存這種設(shè)計(jì)是為了讓不同加速任務(wù)之間不會(huì)互相爭搶內(nèi)存帶寬。PCIe 部分特別值得展開。這顆 DPU 集成了完整的 PCIe 交換機(jī)16 條通道可以按需要拆分并且同時(shí)支持 Root Complex 和 End Point 兩種模式。End Point 模式對應(yīng)傳統(tǒng)網(wǎng)卡或存儲(chǔ)控制卡的角色Root Complex 模式則讓 DPU 可以直接管理下游設(shè)備比如掛載 NVMe 固態(tài)盤后把整塊存儲(chǔ)資源通過 SNAP 框架共享給主機(jī)。這種靈活的拓?fù)淠芰κ呛竺嫠新憬饘俸痛鎯?chǔ)組合場景的基礎(chǔ)。選型時(shí)如果再有人跟你說“DPU 就是速率更高的網(wǎng)卡”拿這張表就能把問題講清楚。2.3 效率倍數(shù)2.5 倍到 150 倍怎么讀才不會(huì)翻車方案中有一張應(yīng)用效率表列出單個(gè) DPU 在特定場景下相當(dāng)于額外增加多少 CPU。原文數(shù)據(jù)整理如下工作負(fù)載等效額外 CPU 倍數(shù)云覆蓋網(wǎng)絡(luò)2.5X惡意軟件特征匹配10X視頻流轉(zhuǎn)碼/流處理15XIPsec 加密30X彈性塊存儲(chǔ)50XNG 有狀態(tài)防火墻150X第一次看到 150X 時(shí)我第一反應(yīng)是懷疑測試條件。這個(gè)數(shù)字本身不是通用收益承諾而是針對特定負(fù)載的對照結(jié)果NG 有狀態(tài)防火墻屬于典型的“狀態(tài)匹配 連接跟蹤 加解密”混合負(fù)載這些操作在通用 CPU 上既耗算力又難優(yōu)化而在 DPU 里由專用引擎和可編程流水線協(xié)作處理倍數(shù)差距自然大。相反云覆蓋網(wǎng)絡(luò)僅 2.5 倍說明這類負(fù)載已經(jīng)接近通用處理器的優(yōu)化極限卸載收益有限。讀這類倍數(shù)表時(shí)行業(yè)慣例是從中提取方向性的結(jié)論凡是“重復(fù)、固定格式、長尾查詢”型的基礎(chǔ)設(shè)施操作都是 DPU 加速的重點(diǎn)。惡意軟件特征匹配和正則匹配屬于模式固定的大規(guī)模掃描IPsec 屬于固定的加解密流水線彈性塊存儲(chǔ)屬于高頻小 I/O 轉(zhuǎn)發(fā)。把這些操作從 CPU 挪走主機(jī) CPU 就能把更多精力放在業(yè)務(wù)邏輯上。至于廠商宣稱的“替代 125 個(gè) x86 CPU 核心”更合理的理解是在一臺(tái)滿載基礎(chǔ)設(shè)施負(fù)載的服務(wù)器上DPU 接管原本需要約 125 個(gè)核心才能完成的工作而不是說一顆 DPU 能頂 125 核的性能。任何一個(gè)認(rèn)真做選型的人都應(yīng)該把這份表當(dāng)作 PoC 起點(diǎn)而不是采購承諾。3. 安全、存儲(chǔ)、網(wǎng)絡(luò)三條加速線DPU 到底改寫了什么3.1 安全安全邊界從核心數(shù)據(jù)中心向每一臺(tái)主機(jī)“下沉”這份方案在安全章節(jié)用了非常直白的描述安全正在從邊界移到服務(wù)器內(nèi)部。過去的數(shù)據(jù)中心安全模型是南北向的——外部流量先經(jīng)過核心防火墻再進(jìn)入服務(wù)器東西向流量在服務(wù)器之間跑往往只能依賴虛擬化平臺(tái)自帶的策略。這種模型在物理機(jī)上問題不大但在多租戶云環(huán)境里已經(jīng)過時(shí)一旦租戶虛擬機(jī)被攻破橫向移動(dòng)幾乎暢通無阻。DPU 給出的做法是把安全能力內(nèi)嵌到每一臺(tái)主機(jī)。文檔明確列出了分布式 NG 防火墻、IDS/IPS、DDoS 防護(hù)、微隔離、深度包檢測、主機(jī)內(nèi)省等能力同時(shí)把 Root of Trust信任根放在 DPU 上與控制面隔離。翻譯成部署語言就是每臺(tái)物理機(jī)的入站出站流量在 DPU 里就已經(jīng)完成狀態(tài)檢測、規(guī)則匹配和加密處理不再需要把流量繞行到集中的防火墻設(shè)備。這樣做的好處很直接攻擊面急劇縮小因?yàn)榧词怪鳈C(jī)操作系統(tǒng)被完全攻破租戶也觸碰不到 DPU 上運(yùn)行的安全策略同時(shí)威脅響應(yīng)粒度從“整個(gè) VPC”細(xì)化到“單臺(tái)主機(jī)、單個(gè)工作負(fù)載”。文檔特別強(qiáng)調(diào)了一個(gè)概念信任遷移到 DPU。以前服務(wù)器信任根建立在 CPU 的 TPM 和主板固件上虛擬化安全依賴 Hypervisor現(xiàn)在 DPU 提供了獨(dú)立的硬件信任鏈。對于運(yùn)行裸金屬云的企業(yè)這一點(diǎn)是決定性的——裸金屬租戶沒有 Hypervisor 隔離只有 DPU 能在硬件層面把租戶與租戶、租戶與云管理面隔開。安全邊界從物理防火墻上移到 DPU這個(gè)趨勢在文檔里不是某個(gè)功能的附帶說明而是專門一節(jié)的重點(diǎn)值得安全團(tuán)隊(duì)關(guān)注。3.2 存儲(chǔ)遠(yuǎn)程存儲(chǔ)偽裝成本地 NVMe裸金屬云也能享受“本地盤”存儲(chǔ)加速是這份方案里含金量最高的一章。核心是一個(gè)叫 SNAP 的框架DPU 通過 PCIe 接口向主機(jī)模擬出標(biāo)準(zhǔn)的 NVMe 控制器或 virtio-blk 設(shè)備主機(jī)操作系統(tǒng)看到的是一塊實(shí)實(shí)在在的本地固態(tài)盤但數(shù)據(jù)實(shí)際上全部落在遠(yuǎn)端存儲(chǔ)池上走的是 NVMe-oF、iSCSI、iSER、NFS 或 Ceph。整個(gè)協(xié)議轉(zhuǎn)換、RDMA 卸載、加解密、去重壓縮全部在 DPU 內(nèi)部完成。這套機(jī)制解決了裸金屬云長期的一個(gè)尷尬裸金屬服務(wù)器為了性能都要物理盤但物理盤無法跨節(jié)點(diǎn)調(diào)度也無法在故障時(shí)快速重建。有了 SNAP裸金屬主機(jī)可以像虛擬機(jī)一樣從遠(yuǎn)端存儲(chǔ)池引導(dǎo)和掛載數(shù)據(jù)盤完全不用裝額外的驅(qū)動(dòng)——文檔特意強(qiáng)調(diào)支持 inbox 標(biāo)準(zhǔn)驅(qū)動(dòng)操作系統(tǒng)任意版本都能識(shí)別。同時(shí)存儲(chǔ)章節(jié)給出最高 5.4M IOPs 4K 的數(shù)據(jù)這個(gè)量級(jí)已經(jīng)接近本地 NVMe 盤的體驗(yàn)說明遠(yuǎn)程存儲(chǔ)的性能瓶頸通過 DPU 卸載后基本被消除。從基礎(chǔ)設(shè)施演進(jìn)的角度看SNAP 最大的信號(hào)是“存儲(chǔ)可組合性”。傳統(tǒng)超融合方案用軟件把多臺(tái)服務(wù)器的本地盤聚合成存儲(chǔ)池但虛擬機(jī)仍然被限制在物理節(jié)點(diǎn)上DPU 把遠(yuǎn)程存儲(chǔ)直接暴露為本地 PCIe 設(shè)備存儲(chǔ)資源就可以脫離物理計(jì)算節(jié)點(diǎn)獨(dú)立擴(kuò)展。文檔原話說這將“打破企業(yè)云經(jīng)濟(jì)學(xué)”——計(jì)算不足時(shí)只擴(kuò)計(jì)算節(jié)點(diǎn)存儲(chǔ)不足時(shí)只擴(kuò)存儲(chǔ)節(jié)點(diǎn)超賣比例和機(jī)架密度都能顯著優(yōu)化。對于正在評(píng)估超融合或分布式存儲(chǔ)架構(gòu)的團(tuán)隊(duì)這條值得單獨(dú)做一輪驗(yàn)證。3.3 網(wǎng)絡(luò)vSwitch、vRouter 的卸載是整套方案的數(shù)據(jù)面骨架網(wǎng)絡(luò)加速章節(jié)在這份 PDF 里恰好停在標(biāo)題處但前面各章已經(jīng)透露出足夠的網(wǎng)絡(luò)卸載邏輯。原文檔在介紹 DPU 加速能力時(shí)明確列出軟件定義網(wǎng)絡(luò)、vRouter、vSwitch、NAT/負(fù)載均衡、覆蓋網(wǎng)絡(luò)隧道以及 Telemetry 遙測。這些內(nèi)容共同指向一件事主機(jī) CPU 不再負(fù)責(zé)在用戶態(tài)和內(nèi)核態(tài)之間搬運(yùn)網(wǎng)絡(luò)包DPU 里的可編程流水線直接處理匹配-動(dòng)作表。行業(yè)里常說的“卸載 OVS 數(shù)據(jù)面”在這份方案里的實(shí)現(xiàn)方式大致是Hypervisor 或容器宿主機(jī)上保留一個(gè)標(biāo)準(zhǔn)網(wǎng)絡(luò)接口所有虛擬網(wǎng)絡(luò)策略通過控制下發(fā)到 DPUDPU 內(nèi)核對來自虛擬機(jī)的數(shù)據(jù)包執(zhí)行 VXLAN 封裝解封裝、隧道頭處理、安全檢測和負(fù)載均衡然后直接轉(zhuǎn)發(fā)到物理網(wǎng)絡(luò)。傳統(tǒng)軟件交換機(jī)最耗 CPU 的部分被移出主機(jī)網(wǎng)絡(luò)吞吐變得可預(yù)測。這里要提醒一句網(wǎng)絡(luò)加速的收益最容易被高估也最容易被低估。高估的人以為任何網(wǎng)絡(luò)流量都能跑滿 200G 線速低估的人覺得網(wǎng)絡(luò)卸載只是讓測試好看。實(shí)際部署中收益取決于流表規(guī)模和流量模型流表規(guī)則少、大包吞吐多的場景卸載收益明顯規(guī)則多、小包密集的場景DPU 的控制面和逐包處理邏輯會(huì)影響延遲。方案文檔把網(wǎng)絡(luò)加速列為獨(dú)立章節(jié)說明它在整個(gè) DPU 架構(gòu)里是數(shù)據(jù)面的骨架但不是萬能加速器。選型時(shí)最務(wù)實(shí)的做法是先把自己環(huán)境的流量鏡像出來在 DPU 上跑一遍真實(shí)測試。4. 裸金屬與虛擬化DPU 如何補(bǔ)上云主機(jī)的最后一層隔墻4.1 裸金屬云DPU 是那堵看不見的“虛擬機(jī)隔離墻”裸金屬云的業(yè)務(wù)邏輯很簡單租戶需要獨(dú)占物理機(jī)的 CPU、內(nèi)存和網(wǎng)卡不想要 Hypervisor 的性能損耗也不能容忍鄰居租戶的干擾。但性能直通換來的是安全隔離的缺失——虛擬機(jī)時(shí)代由 Hypervisor 提供的網(wǎng)絡(luò)隔離、存儲(chǔ)加密和快照能力在裸金屬環(huán)境下全部需要重新解決。過去最常見的方案是把裸金屬服務(wù)器放進(jìn)獨(dú)立 VLAN用物理防火墻做粗粒度隔離但租戶內(nèi)部的微隔離完全做不了。DPU 改變了這個(gè)等式。裸金屬主機(jī)插入 DPU 后網(wǎng)絡(luò)流量從物理網(wǎng)卡進(jìn)入 DPU由 DPU 執(zhí)行虛擬網(wǎng)絡(luò)策略和安全規(guī)則再交給主機(jī)操作系統(tǒng)。租戶看到的是一塊完全直通的網(wǎng)絡(luò)設(shè)備實(shí)際上數(shù)據(jù)已經(jīng)經(jīng)過了一層硬件隔離墻。文檔里關(guān)于裸金屬與虛擬化的說明用的正是這個(gè)邏輯裸金屬 Linux 和 Windows 都能被隔離網(wǎng)絡(luò)和安全策略可以在同一套編排體系中管理。這意味著裸金屬云不必再犧牲精細(xì)的安全控制云服務(wù)商可以用一套統(tǒng)一的策略管理虛擬機(jī)和裸金屬主機(jī)。從成本角度看裸金屬云最大的成本項(xiàng)是服務(wù)器閑置。沒有 DPU 時(shí)租戶買了裸金屬實(shí)例后基礎(chǔ)設(shè)施軟件云監(jiān)控、安全代理、虛擬網(wǎng)絡(luò)只能占用租戶的 CPU 周期有 DPU 后這些全部跑到 DPU 上租戶拿到的 CPU 資源更干凈云廠商的超賣計(jì)算也更準(zhǔn)確。文檔在存儲(chǔ)部分提到的“OS 無關(guān)、支持舊系統(tǒng)”同樣適用于裸金屬只要操作系統(tǒng)能識(shí)別標(biāo)準(zhǔn) NVMe 和網(wǎng)絡(luò)設(shè)備就能無縫接入 DPU 管控的環(huán)境。4.2 虛擬化Hypervisor 只管計(jì)算網(wǎng)絡(luò)與存儲(chǔ)交給 DPU 之后發(fā)生了什么方案文檔里用了一整頁來描述 DPU 與主流虛擬化平臺(tái)的聯(lián)合方案核心思路是重新劃分 Hypervisor 的職責(zé)。在傳統(tǒng)架構(gòu)中Hypervisor 要管 CPU 調(diào)度、內(nèi)存虛擬化、虛擬網(wǎng)絡(luò)、虛擬存儲(chǔ)和安全策略前兩項(xiàng)是它擅長的后三項(xiàng)在云規(guī)模下會(huì)消耗大量資源。引入 DPU 后虛擬網(wǎng)絡(luò)、安全服務(wù)和存儲(chǔ)訪問全部卸載到 DPUHypervisor 只保留計(jì)算調(diào)度功能。這個(gè)改動(dòng)對性能和運(yùn)維都有深遠(yuǎn)影響。性能上虛擬機(jī)發(fā)送數(shù)據(jù)包時(shí)不再需要 Hypervisor 陷入處理而是直接把 I/O 請求推到 DPU由 DPU 完成策略匹配和轉(zhuǎn)發(fā)延遲路徑變短。運(yùn)維上網(wǎng)絡(luò)和安全策略的配置不再依賴 Hypervisor 的插件生態(tài)而是在 DPU 上以獨(dú)立服務(wù)形式運(yùn)行即使 Hypervisor 本身崩潰或需要升級(jí)DPU 上的安全策略仍然生效。文檔提到的主機(jī)管理通道獨(dú)立走 1GbE 帶外端口正是為了讓管理面與數(shù)據(jù)面徹底隔離。更值得關(guān)注的是這個(gè)設(shè)計(jì)為虛擬機(jī)提供了一種“物理級(jí)”的隔離。傳統(tǒng)虛擬化安全依賴 Hypervisor 自身不被攻破而 DPU 的安全控制面與主機(jī)完全隔離虛擬機(jī)即使越獄逃逸到 Hypervisor也無法觸碰 DPU 上的策略。這種“信任根下沉”的架構(gòu)正在成為混合云環(huán)境中高安全合規(guī)需求的默認(rèn)選項(xiàng)。對運(yùn)維團(tuán)隊(duì)來說未來做虛擬化排障時(shí)可能要習(xí)慣一個(gè)新的邊界虛擬機(jī)內(nèi)看網(wǎng)絡(luò)DPU 外看路徑兩層分開查。4.3 生態(tài)SDK 和參考應(yīng)用決定 DPU 不是“一次性硬件”整套方案的最后一層是軟件生態(tài)。文檔特別強(qiáng)調(diào)DPU 配套的開發(fā)者平臺(tái)提供開放 API包括 DPDK、SPDK、P4 等標(biāo)準(zhǔn)接口同時(shí)提供認(rèn)證過的參考應(yīng)用和第三方解決方案支持多種操作系統(tǒng)。這里的信號(hào)很清楚硬件只是載體真正的護(hù)城河在于圍繞基礎(chǔ)設(shè)施應(yīng)用建立的軟件生態(tài)。從開發(fā)者的視角看DPDK 解決了高性能包處理框架的問題SPDK 解決了存儲(chǔ)數(shù)據(jù)面用戶態(tài)驅(qū)動(dòng)的問題P4 解決了網(wǎng)絡(luò)流水線可編程的問題。DPU 把這三者整合進(jìn)一套 SDK并給出基礎(chǔ)設(shè)施組件包處理加速、加密與信任根、RDMA、存儲(chǔ)模擬、管理和遙測。這意味著一個(gè)團(tuán)隊(duì)不需要分別調(diào)網(wǎng)卡驅(qū)動(dòng)、存儲(chǔ)驅(qū)動(dòng)和安全引擎大部分基礎(chǔ)設(shè)施功能都可以在 SDK 的框架內(nèi)完成開發(fā)。文檔里提到“認(rèn)證參考應(yīng)用”等于告訴集成商常見場景已經(jīng)有人跑通不需要從零踩坑。對于采購方生態(tài)成熟度比硬件參數(shù)更重要。一顆 DPU 的硬件生命周期可能是五年但軟件生態(tài)決定了五年里你能在上面跑多少新功能。文檔結(jié)尾把生態(tài)列為單獨(dú)篇幅而不是只講芯片規(guī)格說明方案方已經(jīng)把“開發(fā)者平臺(tái)”當(dāng)作與硬件同等重要的產(chǎn)品。評(píng)估 DPU 時(shí)除了看參數(shù)表還應(yīng)該看配套 SDK 的文檔質(zhì)量、社區(qū)活躍度和參考案例是否貼近自己的業(yè)務(wù)。沒有軟件可跑的高速芯片最后只能變成昂貴的數(shù)據(jù)通路加速器。5. 常見誤判別把 DPU 方案當(dāng)成“高檔網(wǎng)卡”來選型5.1 誤判一DPU 只是“更快的網(wǎng)卡”誤判點(diǎn)看到 200Gbps 帶寬和 PCIe Gen4就認(rèn)為這是一塊性能更高的智能網(wǎng)卡用傳統(tǒng)網(wǎng)卡的選型方法比較速率和隊(duì)列數(shù)。為什么這是誤判DPU 與網(wǎng)卡最大的區(qū)別在于板載 CPU 子系統(tǒng)和可編程流水線。網(wǎng)卡是固定功能設(shè)備DPU 是能運(yùn)行自定義軟件的計(jì)算節(jié)點(diǎn)。如果只按網(wǎng)卡思路選型你會(huì)忽略它真正能卸載什么任務(wù)也無法判斷基礎(chǔ)設(shè)施服務(wù)能不能從 CPU 遷到 DPU 上。怎么看選型時(shí)不要問“速率跑多高”而是問三件事第一主機(jī)上哪些 CPU 周期能被 DPU 接管第二DPU 上能運(yùn)行誰的代碼、控制面是否開放第三網(wǎng)絡(luò)、存儲(chǔ)、安全是否共享同一套可編程框架。如果三個(gè)答案都明確它才是 DPU否則只是普通網(wǎng)卡。拿著網(wǎng)卡的框架去套 DPU是團(tuán)隊(duì)最容易犯的第一個(gè)錯(cuò)。5.2 誤判二只看網(wǎng)絡(luò)速度不看內(nèi)存子系統(tǒng)與 PCIe 拓?fù)湔`判點(diǎn)把 200Gbps 當(dāng)作衡量 DPU 性能的唯一標(biāo)準(zhǔn)忽略了 CPU 核心、緩存容量、PCIe 通道數(shù)和 Root Complex/Endpoint 模式。為什么這是誤判DPU 本質(zhì)上是一臺(tái)微型服務(wù)器它的吞吐上限由網(wǎng)絡(luò)接口、CPU 子系統(tǒng)、內(nèi)存帶寬、PCIe 拓?fù)涔餐瑳Q定。緩存不夠會(huì)導(dǎo)致命中率下降PCIe 通道不足會(huì)導(dǎo)致掛載 NVMe 盤的數(shù)量受限Root Complex 模式不可用則意味著存儲(chǔ)組合方案無法落地。這些參數(shù)里任何一項(xiàng)太弱都會(huì)成為整個(gè)數(shù)據(jù)路徑的瓶頸。怎么看把 DPU 當(dāng)作“一臺(tái)擁有 8 個(gè)核心、8MB L2、6MB L3 的小型服務(wù)器”來評(píng)估。先畫一張數(shù)據(jù)路徑圖流量從網(wǎng)卡進(jìn)入后哪些字段會(huì)被 CPU 核心處理哪些走專用加速引擎I/O 請求如何到達(dá) PCIe switch。路徑上任何一環(huán)不滿足性能目標(biāo)都不能錄取。只看帶寬宣傳頁等到 PoC 時(shí)發(fā)現(xiàn) CPU 子系統(tǒng)跟不上那就是選型上最典型的翻車點(diǎn)。5.3 誤判三以為裝上 DPU現(xiàn)有軟件棧不用改誤判點(diǎn)認(rèn)為 DPU 是透明加速設(shè)備插上去之后虛擬機(jī)、容器、存儲(chǔ)協(xié)議和安全策略全部照舊性能自動(dòng)提升若干倍。為什么這是誤判DPU 的收益依賴軟件棧配合。想用 SNAP 框架需要把存儲(chǔ)路徑從主機(jī)的內(nèi)核驅(qū)動(dòng)切換為 virtio-blk 或 NVMe 模擬設(shè)備想卸載安全策略需要把防火墻規(guī)則從 Hypervisor 遷移到 DPU 的控制面想優(yōu)化網(wǎng)絡(luò)數(shù)據(jù)面需要把流程表項(xiàng)下放到 DPU 可編程流水線。文檔專門用一整章講 SDK 和參考應(yīng)用已經(jīng)暗示這不是即插即用。怎么看在規(guī)劃階段把改造范圍列清楚。先選一個(gè)負(fù)載做試點(diǎn)比如把 IPsec 終端遷移到 DPU 上或者把某類虛擬機(jī)的存儲(chǔ)路徑切換到 SNAP。觀察試點(diǎn)前后的數(shù)據(jù)路徑變化確認(rèn)哪些組件需要升級(jí)哪些代碼需要重寫。不要指望一次接入全部卸載DPU 更適合分階段交付每交付一個(gè)場景都做一次完整驗(yàn)證。5.4 誤判四把 150 倍、替代 125 個(gè) x86 核心當(dāng)成通用收益誤判點(diǎn)把方案文檔里的效率倍數(shù)寫進(jìn)項(xiàng)目收益測算推斷一臺(tái)服務(wù)器可以少買 125 個(gè) CPU 核心或者任何安全負(fù)載都能獲得 150 倍加速。為什么這是誤判文檔中 150X 是對 NG 有狀態(tài)防火墻這一特定負(fù)載的對照值云覆蓋網(wǎng)絡(luò)場景只有 2.5X。實(shí)際收益高度依賴報(bào)文大小、連接數(shù)、規(guī)則條數(shù)和 CPU 型號(hào)。廠商在大流量、大包、規(guī)則數(shù)量適中的環(huán)境下測試出的倍數(shù)換到你的生產(chǎn)環(huán)境未必成立。把未經(jīng)驗(yàn)證的倍數(shù)當(dāng)成投資回報(bào)依據(jù)項(xiàng)目立項(xiàng)時(shí)很激進(jìn)驗(yàn)收時(shí)很尷尬。怎么看把文檔里的數(shù)字當(dāng)作“上限參考”而不是“保底承諾”。具體做法是用真實(shí)流量鏡像在 DPU 和純 CPU 環(huán)境各跑一輪記錄相同負(fù)載下的 CPU 占用率、吞吐和延遲。如果 PoC 測出的收益與官方倍數(shù)差距在可接受范圍再按這個(gè)數(shù)據(jù)做規(guī)?;扑?。任何跳過 PoC 的效率測算都是黑匣子黑匣子里的數(shù)字不能用于采購決策。6. 接下來怎么走三個(gè)趨勢信號(hào)與一份選型行動(dòng)清單從這份方案往后看DPU 正在從“新硬件品類”變成“云基礎(chǔ)設(shè)施的默認(rèn)底座”。第一個(gè)信號(hào)是裸金屬云和容器實(shí)例會(huì)加速采用 DPU 來補(bǔ)齊隔離短板。過去裸金屬的賣點(diǎn)是性能代價(jià)是粗放的安全管控DPU 讓裸金屬獲得接近虛擬機(jī)的策略隔離能力后高安全合規(guī)的客戶也會(huì)開始接受裸金屬形態(tài)云廠商可以因此提高裸金屬占比和資源利用率。第二個(gè)信號(hào)是存儲(chǔ)組合與超融合的邊界會(huì)繼續(xù)模糊。SNAP 類技術(shù)讓遠(yuǎn)程存儲(chǔ)看起來像本地 NVMe 盤存儲(chǔ)資源池與計(jì)算節(jié)點(diǎn)可以獨(dú)立擴(kuò)容。未來服務(wù)器本地盤可能只是緩存真正的持久化數(shù)據(jù)全部落在由 DPU 加速的遠(yuǎn)端存儲(chǔ)池里。這會(huì)讓超融合架構(gòu)從“軟件定義存儲(chǔ)”轉(zhuǎn)向“硬件加速存儲(chǔ)組合”存儲(chǔ)性能的衡量標(biāo)準(zhǔn)也會(huì)從單一節(jié)點(diǎn) IOPS 變成端到端數(shù)據(jù)路徑延遲。第三個(gè)信號(hào)是安全信任根遷移。當(dāng)信任根從 CPU 和 Hypervisor 轉(zhuǎn)移到 DPU合規(guī)審計(jì)的關(guān)注點(diǎn)也會(huì)變化。以前審計(jì)虛擬機(jī)鏡像、Hypervisor 安全補(bǔ)丁、主機(jī)防火墻規(guī)則未來還要審計(jì) DPU 上運(yùn)行的策略版本、信任鏈狀態(tài)和帶外管理日志。安全團(tuán)隊(duì)需要提前構(gòu)建一套能觀測 DPU 狀態(tài)的管理面不然等合規(guī)檢查再補(bǔ)時(shí)間完全不夠。行動(dòng)上建議按下面這張清單評(píng)估 DPU 方案比直接看廠商 PPT 實(shí)用得多評(píng)估維度要確認(rèn)的具體問題網(wǎng)絡(luò)數(shù)據(jù)面流表規(guī)模和大小包混合場景下吞吐與延遲是否達(dá)標(biāo)CPU 子系統(tǒng)板載核心數(shù)、緩存容量是否滿足控制面軟件運(yùn)行需求存儲(chǔ)協(xié)議是否原生支持 NVMe-oF、iSCSI、NFS、Ceph 等混合存儲(chǔ)路徑安全能力信任根是否獨(dú)立、FW 規(guī)則能否熱更新、隔離粒度到主機(jī)還是工作負(fù)載軟件生態(tài)SDK 文檔和參考應(yīng)用是否貼近自己的業(yè)務(wù)場景支持哪些操作系統(tǒng)版本帶外管理管理口是否獨(dú)立、能否在主機(jī)宕機(jī)時(shí)完成遠(yuǎn)程固件升級(jí)與狀態(tài)采集我自己的經(jīng)驗(yàn)是兩年前第一次接觸同類 DPU 方案時(shí)我也被 150X 的倍數(shù)吸引覺得這是基礎(chǔ)設(shè)施性能的終極答案。結(jié)果在真實(shí)環(huán)境里跑了一圈發(fā)現(xiàn)收益集中在安全加解密和塊存儲(chǔ)轉(zhuǎn)發(fā)普通網(wǎng)絡(luò)轉(zhuǎn)發(fā)提升并不夸張。從那以后我每次看這類方案都會(huì)強(qiáng)制走一遍流程先確認(rèn)目標(biāo)負(fù)載再核對板載 CPU 與 PCIe 拓?fù)渥詈笥?PoC 驗(yàn)證數(shù)據(jù)路徑而不是直接信宣傳頁。希望這份拆解能幫你在評(píng)估 DPU 時(shí)少走一段彎路把每一分投資都花在真正能落地的加速場景上。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
十八禁啪啪视频| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 久久一区二区蜜桃| 97亚洲国产| 操逼视频免费日韩无码| 99视频自拍区| 蜜桃臀一区二区三区久久| 国产亚洲精品美女久久久m| 伊人少妇久久久| 日韩久久三区| 最新中文字幕在线亚洲| 亚洲资源吧| 熟女丰满人妻一区| 91麻豆va国产精品| 欧美精品三区| 五月天日日操夜夜操| 91亚·色| 亚洲一区二区三区欧美日韩| 中文字幕国产在线天堂| 在线洲亚线| 四虎影库国产精品免费| 国产成人无码网站在线视频| 欧美综合娱乐久久| 97在线亚洲| 国产精品久久久久久夜夜夜| 久九干| 在线观看黄色电话| 一级性爱啪啪视频| 亚洲综合另类小说色区亚洲成av人片在www | 综合 欧美 亚洲 日本| 五月天久久人妻| 另类av天堂| 五月天激情婷婷| 26uuu性| 99999亚洲| 免费99精品国产自在在线| 中文字幕日产av人| 91人人爽人人爽人人人,gav福利视频导航,日韩欧美亚洲国产字幕四区 | 欧美韩国你懂得在线| 91久热| 国产福利在线视频网站| 91精品微拍福利| 中文字幕av一区二区三区人妻少妇| 中文字幕一区av| 另类小色呦| 日本三级一区二区 在线| A 天堂| 色图综合| 国产精品白丝在线播放| 欧亚三区动漫| 摸奶性爱视频网站在线免费播放| 中文字幕在线免费观看2| 9久久久久| 久久精品国产精品一区| 国产农村妇女精品| 人人艹亚洲| 天天狠操| 99精品视频在线观看| 五月丁香色情| 久久精品国产免费观看99| 国产精品久久久久久久毛片1| 91精品老女人| 亚洲国产美女久久久久| 日韩操逼性鲍| 东北丰满熟女国产一区 | 凹凸视频特色日本特黄| 91色婷婷综合久久中文字幕二区| 国内三级自拍小视频在线观看| 入口操逼网站| 思思热免费在线视频| 午夜120视频在线观看| 久久亚洲日韩熟女精品| 蜜臀Av一区二区三区| 日韩BBN| 欧美性性性| 啊啊啊久久| 亚州综合网| 青青色在线观看| 屁股久久久久久| 久草尤物| 无码日韩人妻av一| 国产一级137片内射麻豆| 夜夜影视四色| 日韩丝袜人妻AV| 成人A片男人的天堂| 久久精品中文| 美女黄网| 岛国网址国产| 97AV爱| 一区二区三区四区五区高清无码永久视频 | 肉嘟嘟www视频在线观看高清| 中文字幕 国产 精品| 欧美午夜精品久久久久久3D | 大香蕉中文aV在线| 欧美性Fer办公室秘书| 999久久久久久久久| 国产1024在线播放| 国产精品无码av在线| 亚洲色欲天天人妻无码系列专区| 久久久噜噜噜久久久| 91真人天天在线| 青青草在线视频美女| 激情婷婷综合久久| 色五月综合网| wuyechaopeng| 99热这里只有精品地址 | 精品无码久久久久久久杏吧| 99久久婷婷丁香| 九九九九88| 精品9999| 免费啪啪av| 综合一区中亚洲国产成人综合精品 | av天堂天堂av日韩| 91欧美成人色站| 欧美激情 亚洲色图| 夜夜欧美 | 97在线免费| 人人摸人人添人人操| 日本三级人妻a人妻一在线| 久久久禁| 乱性AV| 台欧久久精品视频| 欧美日韩制服| 成人黑料社久久| 天天综合在线4| 亚洲丝袜少妇在线| 我想要啊 啊 啊| 77777亚洲蜜臀精品久久综合蜜臀| 久久黄黄| 中文字幕色AV| 一起草日韩| 色哟哟国产精品免费网址| 竹菊一区二区三区AV线| 国产精品一区二区黄片| 亚洲国产青青| 大香蕉视频一二三区| 草b在线 | 99在线精品视频| 国产美女口爆吞精视频| 偷拍亚洲高清图片| 欧美 精品国产制服第一页| 亚州色交| 久久91| 欧美有码激情视频一区二区三区| 91处女在线观看| 丁香婷婷色五月| 成人夜夜| 国产九九久久久精品| 97ai亚洲| 97AV在线免费观看| 五月丁香综合| 91狠狠狠| 色性欧美| 日韩在线地址一| 欧美性猛交美女自慰91| 日本一区二区中文字幕久久| 极品丝袜无码| 97欧美性爱| 国产精品夜夜夜| 成片免费播放| 欧美裸体美女日麻屄| 高清不卡一二三区视频......| 熟妇乱伦一区二区| 午夜精品人妻二区三区| 发朗少妇买婬全视频中文| 欧美亚洲今日在线| 麻豆人妻少妇在线免费观看| 久久这里只精品99re66图| 亚洲天在线| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 色婷婷久久| 91综合网在线| 天天干天天狼在线视频| 香蕉99秘 一区精品蜜桃臀| 精品国产乱码久久久久久影片| 韩国免费播放一级毛片| 中文无线日韩一区| 男人兔费天堂| 神马久久久久久伦理片| 啊啊啊轻点在线观看| 五月婷婷六月丁香| 国产在线播放成人免费| 色亚州人久干视频在线观看免费版| 激情五月天丁香社区| 啪啪自拍九九综合| 欧美在线色| 五月天激情四射| 亚洲欧美黄| 99精品人人爽| 嗯啊抽插大香蕉网页| 日本道人妻久久久在线不卡色视频| 最新欧美色网| 亚洲一本大道中文字幕无码在线| 久久一二三四| 伊人性在线视频| 亚州精品丝袜-不卡成人免费| 天天天天天干夜夜夜夜夜操| 欧美午夜视频免费观看| 97在线视频观看| 久久熟女久| 久热这里| 午夜男人一级A片7777| 麻花豆传媒剧国产MV出差| 亚州色综合| 欧美在线 亚洲| 午夜理论片在线观看免费| 欧美综合91| 骚熟女AV网| 精品人妻一区二区三区夜夜| 亚洲色图美腿丝袜| 蜜桃精品一区二区三区ww | 青青操综合网| 成人性爱av| 97精品视频| 97在线免费看视频| 亚洲交性| 超碰95| 99操逼| 亚熟在线| 韩国一级婬片A片AAAAA| 人人干人人操人人..com| 欧美激情视频在线一区| 狠狠操,使劲操| 欧美色亚洲| 亲子敌伦对白在线播放| 久久人| 久久99国产精品| 大香交| 欧美洲精品一级| 97草草| 综合97久久| 大香蕉综合在线| 青青草色插素人| 中文字幕88av在线| 久艹99| 99蜜月精品久久| 97操在线| 蜜臀AV一区二区三区| 亚洲午夜精品久久久中文影院| 国产外初女出血视频| 亚洲天堂另类美腿| 九九热免费国产视频婷婷伊人五月| 啊啊啊啊嗯嗯嗯用力好爽 | 精品人妻av在线播放| 久久黄色视频一区二区三区| 免费精品国偷自产在线在线 | 中日韓欧美高清| 欧美少妇高潮视频| 97精品久久| 国产家庭乱伦表演| 国产精品制服丝袜清纯唯美| 香蕉综合网| 国产乱码久久| 97精品久久久久中文字幕| 插入综合网| 亚洲色图美腿丝袜| 婷婷激情丁香| 男人天堂网手机版婷婷| 蜜臀99久| 日本午夜操逼| 伊人97超碰| 思思热在线视频精品| 午夜精品99久久久久传媒| 99国产在线绯色一区| 欧美论理片| 精品久久97观看在线视频| 男啪女色黄无遮挡免费观看| 欧美成人精品欧美一级乱黄一区二… | 欧美激色| 中国91AV| 成年女人黄网站| 国产精品免费视频人成| 亚州操操穴网| 18+91网站| 女人18精品一区二区三区| 91n免费处女| 久久久久久裸体| 亚洲欧洲自拍| 免費黃色視頻觀看一| 影音综合网| 九九久久国产精品怡红院| 91伊人| 懂色AV蜜臀无码精品APP | 九九九九久久久| 亚洲色图国产另类| 欧美第五页| 欧美性暴力| 嫩草影院在线观看精品| 动漫片子网站3黄| yazhouzaixian| 少妇熟女1区2区3区| 欧亚性爱啪啪| 超碰免费在线| 校园春色美腿丝袜 | 中文字幕99999| 人人干人人操人人..com| 综合色图,成人综合网| 麻豆天美AV传媒第一页| 国产99精品一区二区三区免费| 久久久五月天| 97在线播放| 亚洲国产天堂| 亚洲操操| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区 | 黄片免费视频2019| 日本裸体久久色噜噜| 精品少妇一区二区| 人人天天干干| 中文字幕精品三级久久久| 天天澡天天狠天天天做| 欧美日不卡| 九九九999久久久网站| 白嫩国模丰满一二三区| 精品无码少妇| 18禁免费视频| 在线观看午夜婷婷久久久久清性观看| 中日韓欧美高清| 超碰成人公开| 大香蕉男人的天堂| 岛国毛片手机在线观看| 综合亚洲网| 天天色播| 大香蕉欧美| 黄色网址久久精品欧美喷水| juliaann欧美丝袜办公室| 亚洲黄色影视| 熟妇激情| 久热香蕉精品在线视频| 亚洲第一男人天堂| 亚洲夜夜欢无码一区二区| 久久久性少妇| 少妇干B| 午夜亚洲| 久久国产99精品72福利| 无码人妻精品一区二区中文| 欧美日日人人天天| 97WW精品| 国产黄色影片在线观看| 999国产精品999久久久久久| 翘臀vidoes| 搡老熟女免费视频| 破处bbq| 97色色色| www.久久制服糖| 狠狠干妹子| 色图四区| 久久超碰、| 久久激情亚洲精品无码?V| 91亚.色| 亚洲中文字幕噜噜噜久久久| 又粗又长又大国产不卡| 国产一| 久久久久久人妻| 色欲天天婬色婬香WWW夜色| 国产人伦精品一区二区三区| 亚洲一区二区三区欧美日韩| 97这里只有精品| 亚洲天堂自拍| 亚洲成人无码影院| 999精品乱码| 久久久久久久国产| 亚洲欧美精品91| 久久精品国产亚洲妲己影视| 久久无码精品| 美女AV一区二区| 亚洲综合在线视频| 少妇久久久| 美骚妇av高清在线| 屌逼麻豆| 综合色91| 91中文精品日韩欧美在线| 欧洲在线性爱视频| 97鸡把在线视频| 精品 码产区一区二-1080P高清在线www-B029AV | 欧美天堂亚洲电影院一区在线播放| 图片区小说区| 中文字幕精品一区欧美| 久草综合网| 久久伊人在线五区| 东京日日夜夜| 欧美1区二区三区公司| 亚洲国产天堂| 日韩本不卡视频在线观看| 性色乱AV一区二区| 天无日色综合| 狠狠色婷婷7777久| 精品亚洲成人免费在线| 青草成人免费视频一com| 情色图区| 精品超碰色| 超碰伊人在线| av久日| 97色色,97综合| 人人喜人人妻| 欧美不卡在线美女| 日韩欧美中文日韩欧美色| 女性喷水高潮在线观看| 国产精品对白自产拍| 肉丝无码中文高清| 亚洲性感丝袜诱惑在线观看| 亚洲熟久久| 精品99999久久久久久| 天天操天天干一区二区 | 精品一二三区四视频| 中文字幕精品一区二区精| 精品中文字幕第一页| AV天堂国产| 久久精品国内Av熟女高清| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 二色av| 国产AV久久久蜜爱影集| 日韩乱插| 久操婷婷| 蜜臀久久99精品久久久老,,| 这里只有精品视频| 国产1769在线| 欧美呦呦性爱| 日韩性爱免费观看视频| 亚洲成aⅴ人片不卡无码| 国产精品黑人一区二区三区| 男人天堂 天天射| 国产视频一区二区在线| 国产精品视频播放| 国产熟女高潮一区二区三区| 九九九九亚洲| 亚洲成a人v欧美综合天堂下载| 日韩电影在线观看网址| 91国产操逼视频| 国产精品国产自产高清AV| 乱欲一区二区| A V少妇特黄三级| 亚州成人a∨| 天堂资源站| 天堂伊人久久| 高清视频一区| 天天综合-91入口| 91精品久久久久五月天精品| 国产精品一区二区 尿失禁| 天美麻花大全视频| 婷婷爱五月| 日逼五月天| 97国产精选| 麻豆久久精品亚洲精品88| 91丨豆花丨熟女| 午夜大香蕉| 中文幕97| 亚洲国产精品无码AV久久| 日韩av不卡在线看| 日本曲间由美性生活片| 黑丝制服中文字幕| 国内偷自视频区视频综合 | 国产精品福利视频播放| 99国产在线 精品 视频| 人人喜人人妻| 超碰97导航| 久9爱精品| 酒色综合网| 国产小视频91| 亚洲精品国产AV天美传媒| 久久日韩肥臀| 91宗合网| 白天啪啪晚上啪啪视频| 久久久久久亚洲精品不卡人乳| 午夜福利区| 99精品丰满人妻无码| 天天综合青苹果| 国产亚洲色婷婷久久99精品91 - 百度| 丝袜剧情| 人人搡人人肉久久精品| 久久久久久人| 在线观看黄色电话| 免费亚洲国产精品久久一区| 狠狠色噜噜狠狠狠狠2018| 国产97视频免费观看| 97色爱| 超碰九九| 最新岛国大片| 午夜男人天堂| 亚欧美综合网。| 99re这里只有精品9| 国产夫妻性生活视频| 亚洲天堂中文字| 日韩天堂av电影在线观看| 国产精品久久蜜乳av| 色官网在线| 久久精品无码不卡| 把腿张开老子CAO烂你| 天天干美少妇一区| 懂色av一区二区三区天美传媒| 日本99久久| 91狠狠狠| 国产精品视频白浆免费| 智利AV在线网| 少妇滛荡视频| 少妇的嫩逼图片| 久久久com| 97超碰9| 亚洲午夜福利视频| 日日躁天天躁狠狠躁| 中文字幕av乱伦| 日本高清熟女久久一区| 丰满人妻av一区二区三区| 成人天天看站长推荐| 国产在线观看91精品一区| 五月天伊人| 91亚洲综合| 国产成年免费大片黄在线观看| 99丝袜福利在线播放| 丁香7月婷婷| 1769成人国产精品视频| 国产精品欧美激在线| 噜噜噜在线视频| 午夜精品人妻二区三区| 国产白丝av| 久久一区二区蜜桃| 狠狠色狠狠色狠狠五月| 97在线视频观看网站| 亚洲熟女av中文字幕| 亚洲风情在线观看| 岛国A V在线免费看| 亚洲AV成人无码一二三久久| 国模私拍一区二区三区神乳| 9丨亚洲一区二区在线| 欧美日韩另类在线播放| 国产成人网站在线观看| 高清不卡一二三区视频......| 色婷婷成人综合| 91九九九馒头| 欲女人妻性色av| 99热国产精品| 欧美少妇色图| 国产精品69人妻无码久久久| 婷婷尹人大香蕉免费| 国产婷婷一区| 亚洲天堂女优在线| 欧美日韩亚洲国产中文永久天天看| 91视频国品一二三区| 久久免费中文字幕在线观看| 国产在线不卡导航| 亚洲高清男人天堂| 一区=区三区视频| 色噜噜婷婷| 国产一区二区三区,在线观看观看| 91中出在线| 亚洲天堂中文字| 欧美激情综合色综合啪啪五月| 黄色小说亚洲| 中文字幕精品探花视频| 男人的天堂在线| 少妇滛荡视频| 97色插| 久久久国产精品亚洲精品| 欧美牲| 三上悠亚在线毛片91| 99超级碰免费视频| 久久精品无码专区| 一区二区三区探花在线观看| 亚洲AV资源| 超碰久久综合| 亚洲中文字幕三级在线| 精人妻一区二区三区| 探花一区在线| 992视频一区| 超碰九7免费| 97色冈| 五月天久久婷婷亚洲 | 久久天天艹| www.色婷婷.com| 91色花堂| 嗯嗯,好大,好爽,好骚| 在线播放一级无码视频| 999熟女精品| 黑人白女精品一区| 久久久久密臀一区二区| 亚洲国产一区二区入口| 天天影视综合色| 婷婷九月| a片久久久久久久久久久久 | 亚洲成人ab| 宗合情欲网| 深夜啪啪啪视频免费| 国产美女高潮| 亚洲视频二区 | 91 丝袜在线播放| 精品国产国产AV| 亚洲AV无码成人精品久久| 啊啊啊免费| 亚洲色性情三级| 综合色久| 青娱乐久久艹| 91av一区二区在线观看| 日本在线15p| 狼人久草| 久草免费在线一区二区| 凹凸视频在线一区二区| 色亚洲欧美| 国产熟女精品区| 国产不卡精品91| 91性高潮久久久久久久久| 中文字幕人成乱码熟女香港| 欲香欲色| 熟女久久| 骚日日av| 欧美另类天堂| 国产大片精久久久久久| 床上啊啊啊一区二区三区| 久久久九九网站| 少妇高潮对白在线观看| 少妇高潮流水av免费| 蜜臀久久99精品久久久久久无删减| 久久久国产护士丝袜美腿一| 欧美极品色| 91路www| 国产精品一级二级在线| 男人天堂网手机版婷婷| 牛牛久久国产精品视频一二三| 欧美成人亚洲精品| 免费成人在线熟妇网| 97蜜桃综合| 啊啊啊啊啊啊啊国| 久日91在线| 激情视频图片| 一区二区播放| 97天天综合| 尤物网址| 亚洲天堂,男人| 偷拍网站久久男女男| 久草色悠悠在线视频| 激情露脸爱| 精品美女久久一二三| 99rre在线精品99re8| 91天天看| 夜夜操狠狠操| 亚洲 国产 精品一区| 亚洲男人天堂2019| 欧美A√综合网 | 天天操夜夜操| Julia Annxxxxx| 久96热在线观看视频| 午夜视频好爽啊| 婷婷丁香五月激情啪啪| 极品粉嫩少妇视频| 亚洲成人黄色在线观看| 日韩中文字幕二区| 亚洲精品熟妇1区2区3区。| 欧美的性爱网站免费| 色五月综合网| av 模特一区了| 色吧 综合| 色97| 97碰碰日本乱偷人妻中文的| 天天插天天操天天摸天天射天天看| 色综合一区二区三区| 9丨亚洲一区二区在线| 中文字暮97| 欧美91精彩| 大奶的诱惑| 精品人妻中文字幕高清| 91精品综合久久久久久五月丁香| 裸模AV女优| 亚洲男人天堂网站| 亚洲激情综合| 亚洲天堂日本| 国产人妖的免费的视频| 亚洲熟女av日韩熟女| 97超碰天天爱天天爱| 欧洲在线性爱视频| 精品人妻夜夜草| 无码区蜜乳| 91天堂视频| 人妻献身系列第54部| 日韩久久三区| 久久久九九九| 国产肏屁眼视频| 91碰超| 午夜噜噜噜| 亚洲激情AV| 岛国免费黄色网址| 性色av一区二区| 偷拍偷窥与盗摄视频专区| 97蜜桃综合| 精品久久久久久中文| 小骚逼被操的爽不爽| 久久亚洲精品成人av| 天天92av| 噜噜吧,噜噜色,噜噜| 日日摸日日碰| 亚洲麻豆精品二区三区| 国产少妇内射| 中文字幕乱碼在线| 曰韩无码777| 无码人妻一区二区三区免费九色| 国产美女激情| 亚洲无码色| 一道α片欧美| 欧美草草高清日韩视频| 青苹果影院男人的天堂| 丰满人妻一区二区三区大胸懂色| 亚洲无码国产探花在线观看| 亚洲双插| 大香蕉碰碰| 久久精品中文字幕观看| 91成人18| 亚洲国产综合视频| 亚洲激情在线| 福利天天都操| 91网站18+| 久久有碼| 欧美激情五月天| Blackedraw视频一区二区| 亚洲欧美天堂| 亚洲影视综合| 91综合网站| 亚洲图片在线| 亚洲欧洲色情高清| 99www.bibizy香蕉资源国产一区二区三区高清 | 欧美在线干| 久久久久极品| 超碰人妻久久| 一本色道久久综合精品婷婷| 国产搭汕a级片| 凹凸视频在线一区二区| 少妇厨房愉情理伦片bd在线观看| 久久久日本电影| 欧美天天射| 国产一区二区三三视频| 国产一区二区免费福利片| 性饥渴少妇av无码毛片| 亚洲制服aⅴ中文字幕| 91足交| 破苞ⅩXXX性无码动漫无码| 亚洲五月丁香花狠狠干一区二区三区 | 在线观看精品国产免费| 成年女人黄网站| 操逼逼中文字幕| 天天爽夜夜操| 日本天天吊| 天天看片麻豆| 91狠狠综合| 国产精选三级在线观看| 久久久噜噜噜久久久| 天天日天天舔| 制服诱惑亚洲一区二区三区在线观看| 欧美激情久久久久| 亚洲欧美天| 97香蕉网| 99综合免费视频| 国产精品久久久久绯色| 97视频在线观看免费高清| 久久亚洲中文字幕视频| 乱伦av.com| 国产suv精品一区二区四| ...日韩成人一区二区三区字幕| 丝袜美腿丝袜| 久久高清欧美国产| 欧美人妻色| 91情色| 成年女人18级毛片毛片免费观看| 97操在线| 人人操人人操人人人操| 亚洲AV无码| 日韩成人精品| 亚洲色图20p| 国产精品久久久啊| 99精品久久久久久久婷婷蜜桃| 亚洲精品白丝| www色日本| 精品无码人妻一区二区免费蜜桃| 深夜福利黄片| 欧美情色男人的天堂| 欧美成人A√在线一区二区| 亚洲色图久久成人| 国产免费小视频| 欧美精品99久久久| 久久AV无码1区2区3区| 1769一区| av情色影音| 日韩免费在线视频观看| 98超碰日本| www色日本| 99色网| 嗯嗯嗯,草死我| 操人人| 青青草手机在线免费观看| AA级电影三区| 欧美性暴力猛交XXXX | 大香蕉国产中文自拍| 久久精品国产精品一区 | 九九九只有精品| 久草网站免费在线观看| 91中文字幕在线观看| 成人精品在线| 午夜男女爽爽大片免费观看| yazhouzaixian| 久久久久久大| 中国探花熟女| 丝袜美腿制服人妻二区中文字幕| 老熟女综合网 | 91在线页| 亚洲中文一区二区三区| 欧美综色欧| 69久久| 欧亚日韩综合精品国产| 五月婷婷激情网| 人人干人人操人人..com| 91人妻人人澡人人爽人人精品| 青青草字幕AV| 操九九九九九九| 黄色视频60分钟| 九九热五区| 亚洲欧美精品一区天堂久久 | 91久热| 97网址97| 偷拍 亚洲| 麻豆国产免费影片| 淫妻综合网| 午夜福利成人免费视频| 久久久无码av精| 高清无码人妻久久久一区二区三区aⅴ| 丁香五月偷拍| 午夜精品一区二区三区三上悠亚| 亚洲精品国产精品乱码不99| 特级毛片特黄久久免费看 | 麻豆精品三区视频| 中文字幕天天操| 99热精品在线| 人人考人人摸人人干| 国产高清亚洲日韩一区| 亚洲无无码αⅴ每日更新| 国内精品a| 欧美极品性爱天天射| 国产高清吃奶免费视频网站| 国产婷婷综合在线观看| 色天使亚洲综合在线观看| 色五月综合网| 亚洲日韩资源| 丰满人妻一区二区三区大胸懂色| 18禁中文字幕| 思思热影视| 日韩免费福利在线观看| 不卡中文字幕aⅴ在线| 免费视频在线一区二区不卡| 国产黄片在线免费观看| 黄色二级片网站| 日欧毛片久久| 久久禁| 精品免费成人久久| 国产品精品自在在线午夜免费| 1769一区| 日本www操操操| 久久香蕉国产线看观看猫咪av | 丰满欧美少妇| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 国产精品成人AV片免费看网站| 情色av电影| 秋霞久久亚洲精品成人| 午夜经典| 亚洲激情深爱文学小说网站| 天堂蜜桃无码视频一区二区| 国内毛片婷婷六月色| 91在线免费精品视频| 在线五区| 夜夜久久| 国产精品熟女乱伦| www.久久久久| 家庭乱伦麻豆| 9Ⅰ超碰| K8久久久久| 午夜精品久久久久久久| 伊人久久亚洲色欲综合网站 | 操碰91| 蜜乳Av成人片网站| 中文字幕免费在线观看| 国产精品成人无码av无码免费| 亚洲欧美高清无码| 亚洲综合91| 四方色播| AV一起草在线| 欧美成人性爱视频在线播放| 久久国产成人精品国产成人亚洲| 夜夜操二区| 欧美日韩人妻精品系列一区二区三区| 亚洲在高跟鞋自慰久久在色线| 夜夜操老骚逼视频网站| 亚洲精品无码久久AV| 户外裸露刺激视频第一区| 欧美视频一区二区在线| 欧美另类综合久久| 欧美78P| 九九九九九九视频免费| 91视频综合| 自拍偷拍草一草| 国产精品宅男免费| 东北女人操逼| 牛牛久久国产精品视频一二三| 精品国产肉丝袜在线拍国语| 91精品无码人妻系列| 亚洲精品97| 不卡二三区人妻少妇| 日韩AV噜噜噜一区二区三区四区| 欧美激色| 亚洲自拍青操视频| 亚洲情色综合网| 天天干1区2区在线| 人人摸人人舔一区二区| 97超碰精品成| 另类一区| 精品免费成人久久| 日本天天干天天搞一区| 婷婷五月天成人网| 亚洲国产一级精品毛一级精品看免费视频| 欧美激情视频一区二区| 蜜桃臀一区二区aV| 天天弄欧美| 中文字幕 国产 精品| 久久久久久99AV无码免费网站| 中文字幕欧美日本乱码一线二线| 日本特黄f c2| 久久国内| 91一区二区三区蜜桃| 亚洲猛交| 少妇69中文| 欧美亚洲性爱一区二区| 91精品久久久久久| 久久香蕉超碰97国产精品| 黄污污污污| 黑人精品欧美一区二区蜜桃| 精品v1区| 六六久久日韩不卡| 久久久久久国产无码精品| 亚洲熟女av中文字幕| 精品久久久一本一道| 极品内射| 精品人妻一区二区三区-国产精品| jizzjizz欧美| 精品久久久高清无码| 亚洲第一页色网| 九热视频| 人妻熟女午夜精品在线| 色婷亚洲五月在线观看| 久久综合资源一区二区| 亚洲激情在线观看一区| 张柏芝国产一区在线观看| 国产区在线| 九九热午夜欧亚国产视频| 综合97亚洲| 久久av色| 香一区二区三区| 人妻熟女av国产网站| 亚洲国产一区二区三区四区国产| 亚洲成人免费中文字幕| 亚洲AV秘 精品久久老牛影视| a片偷拍视频| 另类TS人妖一区二区三区| 久久国产99精品72福利| 999久久久九九九九| 久草电影网| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 97超碰色色| 9久热这里只有精品| 我想要 啊 啊 啊| 天堂性色| 亚洲日韩电影| 亚洲成人激情小说视频| 日本精品一级二级三级| 一级性爱视频免费观看| 蜜汁欧美| 在线综合网| 老司机午夜精品视频| 91搞逼视频| 亚洲蜜乳av| 天天综合网站| 亚洲码专区| 97精品国产97久久久久久| 亚洲精品丝袜-不卡成人免费……| 人妻激情另类| 澳门成人网站久国产日韩| 中文字幕视频2区| 欧天美中出| 中文无线日韩一区| 91N综合网| 欧美超碰97| 26uuu成人影片| 伊人网免费视频| 天堂俺去俺来也www久久婷婷| 一区二区三区激情在线观看| 亚洲精品 大香蕉| 韩国女主播青草在线| 青青草字幕AV| 欧亚乱色熟一区二区三四区| 天天舔九色婷婷| 欧美韩国你懂得在线 | 女人天堂AV五区在线| 色综合加勒比四四季| 香蕉av一区二区三区| 精吧天堂| 人人妻人人澡人人爽久久av| 国产一区二区三区免费视频在性观看| 国产美女mm131爽爽爽爽| 国产欧美美女免费观看视频| 天堂伊人久久| 少妇久久久久久| 综合在线导航一区| 国内精品不卡无毒99999| a人片中文字幕一区二区| 久久久极品| 久男人久久| 亚洲无码国产精品久久| 亚洲 欧美 另类 综合 偷拍| 国产黄色视频久久| 人妻插插人妻人| A片大香蕉在线| 嗯嗯嗯不要不要免费视频| 极品国产内射| 欧美色三级片91| 思思热国产高清| 色色丁香| 国产成人五月天丁香花| 一区二区 韩日AV| 超碰国产在线| 91色综合色| 国产97色在线| 亚欧洲日韩国产精品| 日本综合久久| 亚洲少妇视频| 欧美精品人妻视频| 啊啊啊啊操死我| 区一二区日韩亚洲乱码av电影| A级国产欧美激情在线| 蜜臀久久久国产| 五月丁香拍拍激情综合三级| 人妻少妇精品无码专区二区密桃| 亚洲无码一区二区三区三州| 日逼97| 97碰在线视频| 中文乱码字字幕在线第5页| 欧 美 自 拍 偷 拍| 欧美色综合图片| 五月色丁香| 大象AV在线| 啊啊啊啊啊啊啊网址在线观看| 免费看A片毛毛片在线播| 91男人综合| 伊人综合色网| 亚洲人妻精品一区二区| 国色天香av| 综合激情二| 精品美女人人干| 九九热精品在线| 日本成a人v网站在线观看| 日韩人妻无码精品系列| 国产午夜无码片在线观看影视| 日本黄色天堂| 欧美后进式| 日韩激情毛片一级久久久| 97视频在线观看高清资源| 欧美色性爱| 少妇天堂| 久久大线蕉一区| 91粉嫩萝控精品福利网站_精品影音先锋国| 色香天天| 夜草欧美| 色情五月综合婷婷| 禁十八久久| 青娱乐妇女性生活| 黄色AV影视| 51久久夜色精品国产麻豆| www.高清无码诱惑一区.com| 激情综合网五月婷婷五月天| 日本性一区| 亚洲天堂 视频你懂的| 福利天天都操| 婷婷五月天激情小说| 熟女人妻精品一区二区视频| 少妇天堂网络| 国产精品美女在线一区| 天堂亚洲精品| 国产精品亚洲一区二区三区四区| 日韩欧美传媒一区国产| 日本女人操逼| 综合第一页| 精品9区| 亚洲精品日韩国产欧美| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 大香蕉2017| 久插综合| sss视频华人在线| 亚洲成人一区二区精品| 99re免费| 91精品无码久久久久久久| 操b在线观看| 日韩精品怡红院| 90后性网国产欧美| 久久久久久亚洲Av无码| 日韩大香蕉AV影片| 99热色精品| 黄色小视频日本txt| 岛国色情视频在线观看| 啪啪视频免费在线观看| 600国产精品视频| 69丨亚洲丨精品丨入口免费播放| 99精品伊人| 色狠狠综合噜一二三区| 日韩欧美亚洲国产日韩| 色玖玖| 强奸乱亚洲| 日韩国产精品人妻无码久久久| 麻豆成人影音在线| 亚洲国产精品无石码久久| 中文字幕第7页| 青青草依人大香蕉| 国产精品毛片| 久久有码| 精品福利视频| 人人扣人人操| 国产色呦呦| caoni国产亚洲av| 9久精品| 精品无码一区二区人妻久久蜜桃| 日韩人妻一二三区视频| 欧美色视| 狠狠夜色午夜久久综合在线| 婷婷综合网| 夜夜嗨一区二区三区直播内容| av线电影| 玖玖草久草99蜜月一区二区三区| 国产美女精品| 久久成年精品| 刺激精品视频| 国产久久一区二区三区野外在线| 伊人97超碰| 少妇免费视频| 91丝袜美腿网站| 91网亚洲| 日韩97超碰中文字幕| 91亚洲黑人| 96久久科窝| 九九热精品在线| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 国产日韩久久| 5252色欧美在线男人的天堂| 久偷拍欧美日韩三区| 67194无码不卡| 国产精品经典一卡久久久 | 性色av蜜臀av色欲aV| 无码人妻精品酒店| 东京热综合久久一区二区 | 国产精品久久久久久久AV大片| 婷婷丁香激情| 1000部熟女视频在线观看| 日韩人妻丝袜中文字幕| av中亚| 国产粉嫩蜜臀av一区二区三区| 天天日夜干| 97国产超碰| 亚洲色图欧美| 久久精品黄色| av影院十区| 亚洲天天操| 久久这里只有精品9|