久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

高吞吐場(chǎng)景下TCP擁塞控制優(yōu)化:從BBR算法到內(nèi)核調(diào)優(yōu)實(shí)戰(zhàn)

高吞吐場(chǎng)景下TCP擁塞控制優(yōu)化:從BBR算法到內(nèi)核調(diào)優(yōu)實(shí)戰(zhàn) 如果你在數(shù)據(jù)中心、視頻流媒體或大規(guī)模分布式系統(tǒng)中負(fù)責(zé)網(wǎng)絡(luò)性能優(yōu)化很可能已經(jīng)遇到了一個(gè)看似無(wú)解的矛盾明明服務(wù)器和網(wǎng)絡(luò)硬件足夠強(qiáng)悍帶寬也綽綽有余但TCP連接的實(shí)際吞吐量就是上不去延遲還忽高忽低。你調(diào)整了內(nèi)核參數(shù)優(yōu)化了應(yīng)用代碼甚至懷疑過(guò)硬件但問(wèn)題依舊。這背后很可能不是你的錯(cuò)而是TCP協(xié)議棧中一個(gè)運(yùn)行了數(shù)十年的核心機(jī)制——擁塞控制——在特定場(chǎng)景下“失靈”了?!癟CP擁塞控制不適應(yīng)高吞吐量應(yīng)用數(shù)據(jù)通信”這個(gè)標(biāo)題聽(tīng)起來(lái)像是一個(gè)學(xué)術(shù)論斷但對(duì)于一線工程師而言它是一個(gè)實(shí)實(shí)在在的、影響服務(wù)SLA和業(yè)務(wù)成本的工程難題。傳統(tǒng)的擁塞控制算法如Cubic、Reno是為了在公共互聯(lián)網(wǎng)的“盡力而為”環(huán)境中公平共享帶寬、避免網(wǎng)絡(luò)崩潰而設(shè)計(jì)的。然而在現(xiàn)代數(shù)據(jù)中心內(nèi)部、高速?gòu)V域網(wǎng)專(zhuān)線或5G邊緣計(jì)算場(chǎng)景下網(wǎng)絡(luò)環(huán)境發(fā)生了根本性變化帶寬極高10Gbps、100Gbps甚至更高、延遲極低微秒級(jí)、丟包往往不是由擁塞引起而是由鏈路誤碼、交換機(jī)微突發(fā)或網(wǎng)卡緩沖區(qū)不足導(dǎo)致的。在這種情況下傳統(tǒng)TCP擁塞控制將任何丟包都視為網(wǎng)絡(luò)擁塞的信號(hào)并機(jī)械地執(zhí)行“乘法減小”窗口導(dǎo)致吞吐量斷崖式下跌。對(duì)于需要持續(xù)穩(wěn)定高吞吐的數(shù)據(jù)傳輸如AI模型訓(xùn)練的參數(shù)同步、金融交易數(shù)據(jù)分發(fā)、超高清視頻制作來(lái)說(shuō)這種“一驚一乍”的行為是不可接受的。它造成了帶寬利用率低下、傳輸時(shí)間不可預(yù)測(cè)和集群計(jì)算效率的嚴(yán)重浪費(fèi)。本文將深入拆解這一問(wèn)題的根源。我們不會(huì)停留在理論批評(píng)而是會(huì)清晰地指出傳統(tǒng)TCP擁塞控制的核心假設(shè)丟包≈擁塞在高帶寬低延遲網(wǎng)絡(luò)中已經(jīng)失效。接著我們將從Linux內(nèi)核參數(shù)調(diào)整、現(xiàn)代擁塞控制算法選型如BBR、乃至在應(yīng)用層進(jìn)行協(xié)議增強(qiáng)或替換如QUIC、RDMA等多個(gè)層面提供一套可落地、可驗(yàn)證的解決方案圖譜。無(wú)論你是運(yùn)維工程師、后端開(kāi)發(fā)者還是架構(gòu)師都能從中找到應(yīng)對(duì)當(dāng)前瓶頸和規(guī)劃未來(lái)架構(gòu)的具體思路。1. 問(wèn)題診斷為什么你的高吞吐應(yīng)用總感覺(jué)“有勁使不出”在深入技術(shù)細(xì)節(jié)之前我們先明確一下問(wèn)題場(chǎng)景。所謂“高吞吐量應(yīng)用數(shù)據(jù)通信”通常指具有以下一個(gè)或多個(gè)特征的數(shù)據(jù)流持續(xù)大流量需要長(zhǎng)時(shí)間維持接近鏈路容量的發(fā)送速率例如備份、鏡像同步、視頻流推送。對(duì)延遲敏感雖然數(shù)據(jù)量大但也要求較低的傳輸延遲例如分布式存儲(chǔ)、計(jì)算集群間的中間結(jié)果交換。高帶寬延遲積BDP鏈路帶寬B與往返時(shí)間RTT的乘積很大。例如一條具有100ms RTT的10Gbps鏈路其BDP約為125MB。這意味著需要有足夠多的數(shù)據(jù)“在飛”才能填滿(mǎn)管道。在這樣的場(chǎng)景下你可能會(huì)觀察到以下典型癥狀吞吐量遠(yuǎn)低于物理帶寬即使網(wǎng)絡(luò)空閑TCP連接也無(wú)法跑滿(mǎn)帶寬。吞吐量劇烈波動(dòng)傳輸速率像鋸齒一樣上下起伏無(wú)法穩(wěn)定。延遲突增Bufferbloat數(shù)據(jù)在路由器和交換機(jī)的緩沖區(qū)中排隊(duì)過(guò)久導(dǎo)致RTT周期性飆升。對(duì)輕微丟包過(guò)度反應(yīng)發(fā)生少量丟包哪怕是隨機(jī)誤碼后吞吐量瞬間暴跌且恢復(fù)緩慢。其根本原因在于經(jīng)典TCP擁塞控制以Tahoe、Reno、Cubic為代表的工作機(jī)制與新型網(wǎng)絡(luò)環(huán)境不匹配。2. 核心原理傳統(tǒng)TCP擁塞控制為何“水土不服”要理解不匹配首先要理解傳統(tǒng)算法是如何工作的。其核心是一個(gè)基于“加法增大、乘法減小”AIMD的窗口控制機(jī)制并將丟包作為判斷網(wǎng)絡(luò)擁塞的唯一或主要信號(hào)。2.1 經(jīng)典AIMD與丟包信號(hào)慢啟動(dòng)連接開(kāi)始時(shí)或重傳后擁塞窗口cwnd指數(shù)增長(zhǎng)快速探測(cè)可用帶寬。擁塞避免當(dāng)cwnd超過(guò)慢啟動(dòng)閾值ssthresh后進(jìn)入線性增長(zhǎng)階段每個(gè)RTT增加1個(gè)MSS謹(jǐn)慎試探帶寬上限。丟包響應(yīng)超時(shí)重傳RTO視為嚴(yán)重?fù)砣麑sthresh降為當(dāng)前cwnd的一半cwnd重置為1重新進(jìn)入慢啟動(dòng)。這對(duì)性能打擊是毀滅性的。快速重傳/快速恢復(fù)基于重復(fù)ACK收到3個(gè)重復(fù)ACK后立即重傳丟失報(bào)文并將ssthresh和cwnd都設(shè)為當(dāng)前cwnd的一半然后進(jìn)入擁塞避免階段。這是對(duì)擁塞的“溫和”響應(yīng)。關(guān)鍵點(diǎn)在于無(wú)論丟包真實(shí)原因是什么是隊(duì)列滿(mǎn)了還是光纖被踩了一腳TCP都一律按“網(wǎng)絡(luò)太擠了”來(lái)處理并大幅削減發(fā)送速率。在丟包率極低的優(yōu)質(zhì)網(wǎng)絡(luò)中這種機(jī)制顯得過(guò)于保守和粗暴。2.2 高BDP網(wǎng)絡(luò)帶來(lái)的挑戰(zhàn)在高BDP網(wǎng)絡(luò)中要填滿(mǎn)管道需要非常大的cwnd。例如前文的125MB BDP假設(shè)MSS為1460字節(jié)則需要約90000個(gè)報(bào)文在飛行中。這帶來(lái)了兩個(gè)問(wèn)題收斂慢從cwnd1的慢啟動(dòng)開(kāi)始要經(jīng)歷很多個(gè)RTT才能增長(zhǎng)到所需窗口大小。連接可能還沒(méi)達(dá)到穩(wěn)定狀態(tài)就傳輸結(jié)束了對(duì)于短流不友好。恢復(fù)慢一旦發(fā)生丟包導(dǎo)致窗口減半需要同樣多的RTT才能爬升回去造成長(zhǎng)時(shí)間的帶寬浪費(fèi)。2.3 緩沖區(qū)膨脹Bufferbloat現(xiàn)代交換機(jī)和路由器通常配備深緩沖區(qū)。當(dāng)TCP發(fā)送過(guò)快時(shí)數(shù)據(jù)包會(huì)在這些緩沖區(qū)中堆積導(dǎo)致排隊(duì)延遲急劇增加RTT從1ms變成100ms這就是Bufferbloat。雖然此時(shí)并未丟包但巨大的延遲已經(jīng)影響了應(yīng)用體驗(yàn)。傳統(tǒng)TCP只有在緩沖區(qū)完全填滿(mǎn)導(dǎo)致丟包時(shí)才會(huì)減速無(wú)法對(duì)高延遲做出及時(shí)反應(yīng)。3. 環(huán)境準(zhǔn)備審視你的系統(tǒng)與網(wǎng)絡(luò)在嘗試任何優(yōu)化前你需要先建立一個(gè)清晰的觀測(cè)基線。這需要一些工具和命令。3.1 系統(tǒng)與工具準(zhǔn)備操作系統(tǒng)以Linux為例現(xiàn)代服務(wù)器最常見(jiàn)。必備工具ip或ifconfig查看網(wǎng)卡、IP地址。ethtool查看和配置網(wǎng)卡參數(shù)如隊(duì)列長(zhǎng)度、卸載功能。ss或netstat查看socket狀態(tài)和統(tǒng)計(jì)信息ss更推薦。ping/traceroute測(cè)量基本延遲和路徑。iperf3或netperf網(wǎng)絡(luò)帶寬性能測(cè)試標(biāo)準(zhǔn)工具。tc流量控制工具可用于模擬網(wǎng)絡(luò)損傷如延遲、丟包。tcpdump或Wireshark抓包分析用于深入診斷。3.2 關(guān)鍵內(nèi)核參數(shù)查看Linux內(nèi)核提供了大量TCP調(diào)優(yōu)參數(shù)位于/proc/sys/net/ipv4/和/proc/sys/net/core/。首先查看當(dāng)前值# 查看當(dāng)前擁塞控制算法 sysctl net.ipv4.tcp_congestion_control # 查看接收緩沖區(qū)默認(rèn)和最大大小 sysctl net.core.rmem_default net.core.rmem_max sysctl net.ipv4.tcp_rmem # 查看發(fā)送緩沖區(qū)默認(rèn)和最大大小 sysctl net.core.wmem_default net.core.wmem_max sysctl net.ipv4.tcp_wmem # 查看是否啟用TCP窗口縮放對(duì)于高BDP必須開(kāi)啟 sysctl net.ipv4.tcp_window_scaling # 查看是否啟用TCP時(shí)間戳用于精確RTT測(cè)量和防止序列號(hào)回繞 sysctl net.ipv4.tcp_timestamps4. 解決方案一啟用現(xiàn)代擁塞控制算法以BBR為例面對(duì)傳統(tǒng)算法的局限學(xué)術(shù)界和工業(yè)界提出了新一代擁塞控制算法。其中BBRBottleneck Bandwidth and Round-trip propagation time由Google在2016年提出其設(shè)計(jì)哲學(xué)是革命性的不再以丟包作為擁塞信號(hào)而是主動(dòng)測(cè)量路徑的帶寬和最小延遲。4.1 BBR核心思想BBR認(rèn)為網(wǎng)絡(luò)中的瓶頸是帶寬BtlBw和傳播延遲RTprop。最佳操作點(diǎn)即最大吞吐、最小延遲點(diǎn)是“帶寬延遲積”BDP那一點(diǎn)。BBR通過(guò)周期性探測(cè)帶寬和持續(xù)測(cè)量最小RTT試圖將飛行中的數(shù)據(jù)量穩(wěn)定在BDP附近從而避免在緩沖區(qū)中堆積數(shù)據(jù)造成高延遲也避免發(fā)送不足浪費(fèi)帶寬。4.2 在Linux上啟用BBRBBR已內(nèi)置于較新版本的Linux內(nèi)核4.9。啟用非常簡(jiǎn)單# 1. 加載TCP BBR模塊通常已內(nèi)置 sudo modprobe tcp_bbr # 2. 將BBR設(shè)置為系統(tǒng)默認(rèn)的擁塞控制算法 echo net.core.default_qdiscfq | sudo tee -a /etc/sysctl.conf echo net.ipv4.tcp_congestion_controlbbr | sudo tee -a /etc/sysctl.conf # 3. 使配置生效 sudo sysctl -p # 4. 驗(yàn)證是否生效 sysctl net.ipv4.tcp_congestion_control # 應(yīng)輸出net.ipv4.tcp_congestion_control bbr # 查看單個(gè)連接的擁塞控制算法 ss -tin在輸出中你可以看到bbr字樣。4.3 BBR的優(yōu)勢(shì)與注意事項(xiàng)優(yōu)勢(shì)高帶寬利用率在存在輕微隨機(jī)丟包的鏈路上能保持高吞吐。低延遲通過(guò)避免緩沖區(qū)排隊(duì)顯著降低傳輸延遲。公平性多個(gè)BBR流共享瓶頸鏈路時(shí)能收斂到公平分配。注意事項(xiàng)內(nèi)核版本建議使用4.13或更高版本早期版本有穩(wěn)定性問(wèn)題。公平隊(duì)列fqfqFair Queue隊(duì)列紀(jì)律與BBR配合最佳需同時(shí)設(shè)置。并非銀彈在極端復(fù)雜的網(wǎng)絡(luò)環(huán)境或與大量Cubic流共存時(shí)表現(xiàn)可能不穩(wěn)定。對(duì)于超高速網(wǎng)絡(luò)100GBBRv2或更專(zhuān)業(yè)的算法可能更合適。5. 解決方案二精細(xì)調(diào)優(yōu)TCP內(nèi)核參數(shù)即使不更換算法通過(guò)調(diào)整Linux內(nèi)核參數(shù)也能顯著提升高吞吐場(chǎng)景下的TCP性能。調(diào)整的核心目標(biāo)是提供足夠大的緩沖區(qū)來(lái)容納高BDP同時(shí)避免Bufferbloat和過(guò)激的丟包反應(yīng)。5.1 調(diào)整Socket緩沖區(qū)大小這是最關(guān)鍵的一步。緩沖區(qū)大小必須至少為帶寬延遲積BDP。計(jì)算方式BDP (Bytes) 帶寬 (bits/s) * RTT (s) / 8。為留有余地通常設(shè)置為2-4倍BDP。# 假設(shè)我們需要支持10Gbps帶寬0.1ms0.0001sRTT的局域網(wǎng)場(chǎng)景 # BDP 10e9 * 0.0001 / 8 125000 Bytes ≈ 122 KB # 設(shè)置4倍BDP ≈ 500 KB # 編輯 /etc/sysctl.conf添加或修改以下行 # 接收緩沖區(qū)最小值、默認(rèn)值、最大值 net.core.rmem_max 2097152 # 2MB最大接收緩沖區(qū) net.ipv4.tcp_rmem 4096 131072 2097152 # 最小、默認(rèn)、最大 # 發(fā)送緩沖區(qū)最小值、默認(rèn)值、最大值 net.core.wmem_max 2097152 # 2MB最大發(fā)送緩沖區(qū) net.ipv4.tcp_wmem 4096 16384 2097152 # 最小、默認(rèn)、最大 # 自動(dòng)調(diào)優(yōu)緩沖區(qū)通常建議開(kāi)啟 net.ipv4.tcp_moderate_rcvbuf 1 # 使配置生效 sudo sysctl -p重要tcp_rmem和tcp_wmem的第三個(gè)值最大值是硬限制應(yīng)用通過(guò)setsockopt設(shè)置的SO_RCVBUF和SO_SNDBUF不能超過(guò)它。內(nèi)核會(huì)根據(jù)網(wǎng)絡(luò)狀況在最小和最大值之間動(dòng)態(tài)調(diào)整實(shí)際使用的緩沖區(qū)大小。5.2 調(diào)整其他關(guān)鍵參數(shù)# 增大本地端口范圍支持更多連接 net.ipv4.ip_local_port_range 10000 65535 # 啟用TCP窗口縮放支持大于64KB的窗口高BDP必須 net.ipv4.tcp_window_scaling 1 # 啟用時(shí)間戳提高RTT估計(jì)精度并幫助防止序列號(hào)回繞PAWS net.ipv4.tcp_timestamps 1 # 啟用SACK選擇性確認(rèn)應(yīng)對(duì)多個(gè)丟包更高效 net.ipv4.tcp_sack 1 # 加快TIME-WAIT套接字回收對(duì)于高并發(fā)短連接服務(wù)很重要長(zhǎng)連接服務(wù)謹(jǐn)慎 net.ipv4.tcp_tw_reuse 1 # net.ipv4.tcp_tw_recycle 0 # 該參數(shù)在較新內(nèi)核中已廢棄且不建議使用 # 增加半連接隊(duì)列和全連接隊(duì)列長(zhǎng)度防SYN Flood提升連接建立速度 net.ipv4.tcp_max_syn_backlog 8192 net.core.somaxconn 8192 # 減少TCP?;钐綔y(cè)時(shí)間根據(jù)業(yè)務(wù)需要 net.ipv4.tcp_keepalive_time 600 net.ipv4.tcp_keepalive_intvl 30 net.ipv4.tcp_keepalive_probes 55.3 應(yīng)用層設(shè)置內(nèi)核參數(shù)設(shè)置了系統(tǒng)級(jí)上限應(yīng)用層也需要正確設(shè)置socket選項(xiàng)。// C語(yǔ)言示例設(shè)置發(fā)送和接收緩沖區(qū)大小 int sockfd socket(AF_INET, SOCK_STREAM, 0); int send_buf_size 1024 * 1024; // 1MB int recv_buf_size 1024 * 1024; // 1MB setsockopt(sockfd, SOL_SOCKET, SO_SNDBUF, send_buf_size, sizeof(send_buf_size)); setsockopt(sockfd, SOL_SOCKET, SO_RCVBUF, recv_buf_size, sizeof(recv_buf_size)); // 注意內(nèi)核可能會(huì)將你設(shè)置的值翻倍出于實(shí)現(xiàn)原因并且最終值不會(huì)超過(guò)net.core.wmem_max/rmem_max。 // 實(shí)際值可以通過(guò)getsockopt獲取。6. 解決方案三繞過(guò)TCP——評(píng)估替代傳輸協(xié)議當(dāng)TCP的擁塞控制機(jī)制成為無(wú)法逾越的瓶頸時(shí)考慮更底層的協(xié)議替代方案是合理的。這適用于對(duì)性能有極致要求且網(wǎng)絡(luò)環(huán)境可控的場(chǎng)景如數(shù)據(jù)中心內(nèi)部。6.1 RDMA遠(yuǎn)程直接內(nèi)存訪問(wèn)RDMA允許一臺(tái)計(jì)算機(jī)直接訪問(wèn)另一臺(tái)計(jì)算機(jī)的內(nèi)存無(wú)需操作系統(tǒng)內(nèi)核介入實(shí)現(xiàn)了真正的“零拷貝”和“內(nèi)核旁路”。其傳輸層協(xié)議RoCERDMA over Converged Ethernet或InfiniBand提供了極高的吞吐和極低的延遲。適用場(chǎng)景高性能計(jì)算HPC、AI訓(xùn)練集群、超低延遲金融交易。技術(shù)棧需要支持RDMA的網(wǎng)卡RNIC、專(zhuān)用交換機(jī)、以及相應(yīng)的驅(qū)動(dòng)和用戶(hù)態(tài)庫(kù)如libibverbs。挑戰(zhàn)成本高、部署復(fù)雜、編程模型與傳統(tǒng)socket差異大。6.2 QUIC/HTTP3QUIC是建立在UDP之上的新一代傳輸協(xié)議由Google主導(dǎo)。它集成了TLS加密、多路復(fù)用、改進(jìn)的擁塞控制和前向糾錯(cuò)等功能。其擁塞控制算法默認(rèn)是Cubic但可靈活替換運(yùn)行在用戶(hù)空間迭代更快。適用場(chǎng)景互聯(lián)網(wǎng)公網(wǎng)傳輸特別是HTTP通信對(duì)抗丟包和延遲變化能力強(qiáng)。優(yōu)勢(shì)快速連接建立、無(wú)隊(duì)頭阻塞、更好的移動(dòng)網(wǎng)絡(luò)體驗(yàn)?,F(xiàn)狀正在被廣泛采納主流瀏覽器和CDN均已支持。6.3 自定義UDP協(xié)議對(duì)于特定應(yīng)用在UDP之上實(shí)現(xiàn)自定義的可靠傳輸和擁塞控制是終極手段。這給了開(kāi)發(fā)者完全的控制權(quán)。適用場(chǎng)景實(shí)時(shí)游戲、音視頻直播、對(duì)延遲有極端要求的金融數(shù)據(jù)流。挑戰(zhàn)實(shí)現(xiàn)一個(gè)健壯、公平、高效的傳輸協(xié)議極其復(fù)雜容易引入安全漏洞且需要處理NAT穿越等問(wèn)題。建議除非有非常特殊的、TCP/QUIC無(wú)法滿(mǎn)足的需求并且擁有強(qiáng)大的網(wǎng)絡(luò)協(xié)議開(kāi)發(fā)團(tuán)隊(duì)否則不建議從頭造輪子。可以考慮使用開(kāi)源的用戶(hù)態(tài)TCP/IP?;騻鬏攷?kù)。7. 性能驗(yàn)證與測(cè)試方法優(yōu)化配置后必須進(jìn)行嚴(yán)謹(jǐn)?shù)臏y(cè)試來(lái)驗(yàn)證效果。以下是使用iperf3進(jìn)行基準(zhǔn)測(cè)試的示例。7.1 基礎(chǔ)帶寬測(cè)試在一臺(tái)服務(wù)器上啟動(dòng)服務(wù)端在另一臺(tái)客戶(hù)端上測(cè)試TCP吞吐量。# 在服務(wù)端IP: 192.168.1.100啟動(dòng)iperf3服務(wù)器 iperf3 -s # 在客戶(hù)端向服務(wù)端進(jìn)行60秒的TCP測(cè)試使用10個(gè)并行流并反向測(cè)試服務(wù)端發(fā)數(shù)據(jù)給客戶(hù)端 iperf3 -c 192.168.1.100 -t 60 -P 10 -R參數(shù)說(shuō)明-t 60測(cè)試時(shí)長(zhǎng)60秒。-P 10使用10個(gè)并行連接。多流有助于更快地填滿(mǎn)高BDP管道更能反映實(shí)際應(yīng)用如多線程下載的性能。-R進(jìn)行反向測(cè)試Receiver sends, Server receives這能測(cè)試雙向性能。7.2 測(cè)試不同擁塞控制算法可以臨時(shí)為單個(gè)連接指定擁塞控制算法進(jìn)行對(duì)比。# 客戶(hù)端使用Cubic算法需root權(quán)限 sudo ip route change default via 網(wǎng)關(guān) dev 網(wǎng)卡 cong cubic iperf3 -c 192.168.1.100 -t 30 # 客戶(hù)端切換回BBR算法 sudo ip route change default via 網(wǎng)關(guān) dev 網(wǎng)卡 cong bbr iperf3 -c 192.168.1.100 -t 30觀察兩種算法下的帶寬、重傳率、抖動(dòng)Jitter差異。7.3 模擬網(wǎng)絡(luò)損傷測(cè)試使用tc命令在測(cè)試路徑上模擬丟包、延遲和抖動(dòng)觀察TCP的健壯性。# 在客戶(hù)端或中間機(jī)器上對(duì)出口流量添加網(wǎng)絡(luò)損傷示例eth0網(wǎng)卡 # 1. 添加100ms固定延遲 sudo tc qdisc add dev eth0 root netem delay 100ms # 2. 添加0.1%的隨機(jī)丟包 sudo tc qdisc change dev eth0 root netem loss 0.1% # 3. 進(jìn)行iperf測(cè)試 iperf3 -c 192.168.1.100 -t 30 # 4. 測(cè)試完成后刪除損傷規(guī)則 sudo tc qdisc del dev eth0 root對(duì)比BBR和Cubic在0.1%、0.5%、1%丟包率下的吞吐量保持能力。你會(huì)發(fā)現(xiàn)BBR在輕微丟包下優(yōu)勢(shì)明顯。8. 常見(jiàn)問(wèn)題與排查思路在高吞吐TCP調(diào)優(yōu)過(guò)程中你會(huì)遇到各種問(wèn)題。下表列出了一些典型問(wèn)題及排查方向問(wèn)題現(xiàn)象可能原因排查命令/步驟解決方案吞吐量卡在某個(gè)值如1Gbps上不去1. 網(wǎng)卡或交換機(jī)端口速率協(xié)商錯(cuò)誤。2. 系統(tǒng)中斷或CPU單核瓶頸。3. 應(yīng)用層發(fā)送/接收緩沖區(qū)設(shè)置過(guò)小。4. 單個(gè)TCP流窗口達(dá)到上限。1.ethtool eth0查看 Speed/Duplex。2.top查看CPU使用mpstat -P ALL 1查看各核中斷。3.ss -it查看連接的snd_wnd和rcv_wnd。4. 計(jì)算BDP檢查tcp_wmem/rmem_max。1. 強(qiáng)制設(shè)置網(wǎng)卡速率ethtool -s eth0 speed 10000 duplex full。2. 啟用網(wǎng)卡多隊(duì)列RSS綁定中斷到不同CPU。3. 調(diào)大內(nèi)核和應(yīng)用層緩沖區(qū)。4. 確保窗口縮放開(kāi)啟增大緩沖區(qū)。延遲RTT周期性飆升Bufferbloat緩沖區(qū)膨脹。數(shù)據(jù)在隊(duì)列中堆積。1. 使用ping -A觀察RTT變化。2. 使用tc查看隊(duì)列規(guī)則。3. 檢查是否使用pfifo_fast等無(wú)管理隊(duì)列。1. 啟用BBR等延遲敏感的擁塞控制。2. 將隊(duì)列紀(jì)律改為fq或fq_codel。3. 調(diào)整txqueuelenip link set eth0 txqueuelen 1000。大量TCP重傳Retransmits1. 真實(shí)網(wǎng)絡(luò)丟包。2. 接收端處理慢緩沖區(qū)滿(mǎn)導(dǎo)致丟包。3. 亂序報(bào)文被誤判為丟包。1.ss -sit查看重傳統(tǒng)計(jì)。2.netstat -s | grep -i retrans查看全局重傳計(jì)數(shù)。3. 使用tcpdump抓包分析具體原因。1. 檢查物理鏈路、交換機(jī)。2. 優(yōu)化接收端應(yīng)用性能增大rmem_max。3. 確保路徑對(duì)稱(chēng)或啟用SACK。連接建立失敗或慢1. 半連接/全連接隊(duì)列滿(mǎn)。2. 防火墻/iptables規(guī)則限制。3.tcp_tw_recycle與NAT沖突舊內(nèi)核。1.netstat -s | grep -i listen查看隊(duì)列溢出。2.ss -lnt查看監(jiān)聽(tīng)隊(duì)列長(zhǎng)度。3. 檢查/proc/sys/net/ipv4/tcp_syncookies。1. 增大tcp_max_syn_backlog和somaxconn應(yīng)用調(diào)大listen()的backlog參數(shù)。2. 檢查防火墻規(guī)則。3. 確保tcp_tw_recycle0新內(nèi)核已移除。啟用BBR后性能反而下降1. 內(nèi)核版本過(guò)舊4.9。2. 未配合fq隊(duì)列紀(jì)律。3. 與網(wǎng)絡(luò)中其他非BBR流不公平競(jìng)爭(zhēng)。1.uname -r查看內(nèi)核版本。2.sysctl net.core.default_qdisc查看隊(duì)列。3. 測(cè)試環(huán)境是否純凈。1. 升級(jí)內(nèi)核到穩(wěn)定版如5.4。2. 設(shè)置net.core.default_qdiscfq。3. 在全網(wǎng)或關(guān)鍵路徑統(tǒng)一部署B(yǎng)BR。9. 最佳實(shí)踐與架構(gòu)建議將調(diào)優(yōu)從單點(diǎn)擴(kuò)展到系統(tǒng)層面需要一些架構(gòu)思維。分層優(yōu)化從上到下應(yīng)用層使用連接池、異步I/O、批量處理來(lái)減少短連接和交互次數(shù)。確保正確設(shè)置socket緩沖區(qū)選項(xiàng)。傳輸層根據(jù)網(wǎng)絡(luò)環(huán)境選擇擁塞控制算法數(shù)據(jù)中心用BBR公網(wǎng)可嘗試BBR或CUBIC。精細(xì)調(diào)優(yōu)內(nèi)核參數(shù)。網(wǎng)絡(luò)層確保路由、MTU通常1500Jumbo frames需端到端支持、ECMP等價(jià)多路徑配置正確。硬件層使用支持TSO/GSO、LRO/GRO等卸載功能的網(wǎng)卡并確保驅(qū)動(dòng)和固件為最新。監(jiān)控與觀測(cè)建立關(guān)鍵指標(biāo)監(jiān)控吞吐量、延遲P50, P95, P99、重傳率、TCP窗口大小、連接數(shù)。使用ss,ip,/proc/net/netstat,/proc/net/snmp等工具定期采集數(shù)據(jù)??紤]使用eBPF工具如tcplife,tcptop,tcpretransfrom BCC進(jìn)行深度動(dòng)態(tài)追蹤。環(huán)境差異化配置數(shù)據(jù)中心內(nèi)部低延遲、高帶寬、丟包率極低。首選BBR并大幅調(diào)高TCP緩沖區(qū)上限??紤]啟用Jumbo frames??缁ヂ?lián)網(wǎng)公網(wǎng)延遲高、帶寬波動(dòng)、存在隨機(jī)丟包??蓽y(cè)試BBR與Cubic的性能差異。保持合理的緩沖區(qū)大小通常4-10倍BDP避免過(guò)大導(dǎo)致Bufferbloat?;旌显?專(zhuān)線情況復(fù)雜。建議在業(yè)務(wù)低峰期進(jìn)行全面的基準(zhǔn)測(cè)試和損傷測(cè)試確定最優(yōu)算法和參數(shù)組合。向前看擁抱新協(xié)議棧對(duì)于全新的、性能敏感的核心系統(tǒng)在技術(shù)選型階段就將QUIC/HTTP3納入評(píng)估范圍。許多語(yǔ)言已有成熟的生產(chǎn)級(jí)客戶(hù)端和服務(wù)端庫(kù)。在AI、大數(shù)據(jù)等高性能計(jì)算領(lǐng)域積極關(guān)注RDMA的生態(tài)發(fā)展。雖然復(fù)雜但其帶來(lái)的性能提升是數(shù)量級(jí)的。TCP擁塞控制的調(diào)優(yōu)不是一勞永逸的魔法數(shù)字配置而是一個(gè)結(jié)合具體網(wǎng)絡(luò)特征、業(yè)務(wù)需求和系統(tǒng)資源的持續(xù)過(guò)程。理解其原理掌握觀測(cè)工具建立從應(yīng)用到硬件的全鏈路視角才能在高吞吐量數(shù)據(jù)通信的挑戰(zhàn)中真正釋放出網(wǎng)絡(luò)的潛力。從今天開(kāi)始不妨先用iperf3和ss命令為你最重要的服務(wù)鏈路做一次深度體檢。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香婷婷五月| 偷拍盗拍亚洲色图图片| 丝袜AV一区二区三区| 97超碰磁| 午夜福利区| 1240青青草一区二区三区视频天爱| 老子午夜伦不卡影院| 五月丁香激情综合网| 亚洲91大片| 91丝袜美女视频| 大香网站| 精国久久一区二区三区98| 欧美劲爆第一页| 日韩精品国产一区二区| 1区2区3区中文字幕日韩| 亚洲欧美综合图片| 性做久久久久久免费观看软件| 蜜臀久久久| 999精品久久久久久久| 久久久新亚洲AV| 嫩草影院在线观看精品| 欧美综合网1| 色香综合| 殴美,日韩国产伦精品| 丝袜美腿操av| 性做久久久久久免费观看软件| 少妇三P| 1769成人国产精品视频| 男人兔费天堂| 啊啊啊操死我| 黄页大片在线观看| 中文字幕国产在线天堂| 午夜天天碰综合视频| 麻豆视频一区二区| 青青草视频爽一爽| 欧美一区二区三区互相| 青青伊人这里只有精品| 亚洲二区精品在线观看| 亚洲色图一区二区三区| 欧美性区| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 欧美精品久久久久久久久88| 草草草视频| 国产少妇肉丝在线观看| 麻豆国产精品午夜视频| 欧美第二页午夜| 天天爽夜夜爽夜夜爽精| 亚洲AV不卡在线观看| 天堂8在线新版官网| 欧美日韩亚洲高清不卡一区二区三区| 国产成人亚洲精品无码最新在线| 东京热99999| 乱伦系列一区二区| 亚洲av青草久久一区二区| 欧美日韩性感| 国产www色在线观看| 青青草女人天天干| 色性综合| 日韩一区二区三区四区五区| 91亚洲欧洲| 97亚洲资源| 亚洲AV无线| 97超碰精品图片| 色好看av| 丁香六月婷婷综合| 欧美美女视频| 精品小视频在线| 天天看,天天做| 久久春色| 一二三四区操操Av| 天天操狠狠日夜夜干超碰撸com视频在线观看 | 狠狠爱夜夜干| 操我啊啊啊啊啊| 老司机射| 亚洲啪啪视频一区二区| 丁香九月婷婷| 亚洲极品| AV中文在线可看| 一本色道久久天天射天天干| 欧美亚洲韩国视频十五区| 欧美九9 9 9| 久操操AV电影| 欧洲久久一二线| 啊嗯嗯啊好大好爽| 少妇一线天久久久久久| 超碰成人最新最好看| 97视频免费播放| 四虎在线免费视频| 老熟女熟妇| 国产不卡免费在线视频| 中文字幕一区二区无码成人| 欧美论理片| 97超碰jingpin| 亚欧Av| 97免费在线观看| 丝袜狠狠草尤物 91| 97人肏| 久久精品国产亚洲AV成人直播| 天天操妹子| 老熟妇一区二区三区啪啪| 亚洲色图超碰在线| 五月天综合| 91干熟女| 国产精品无码AV网站| se吧提供国产乱老熟视频胖女人| 超碰色97| 九X超碰| 超碰三级秋霞| 日韩国产品视频中文字| 天天做天天爱天天爽| 日韩丰满熟妇| 欧美十八禁导航成人| 久久风骚城市人| 免费看毛片操穴| 成人性爱全视频观看| 伊人一区二区在线播放| 影音先锋日本乱伦| 92性色国产午夜福利在线661| 97资源站日韩| 2017天天操| BBBBB97COM| 天天干夜夜操一区二区| 精品人妻一区二区三区蜜桃视频| 日韩综合97P| 激情综合网一盗摄| 97国产中文| 97在线观看视频| 国产成人精品一区| 国内一级精品| 91欧洲国产成人久久精品网站| 日韩欧美~中文字| KK色在线影院| 熟女探花啪啪| 伊人影院综合是一个与深夜成人在线| 天天看天天在线精品| 亚洲图片欧美色图| 色色色色日本| 69人妻精品一区二区绯色| 久久婷婷伊人| 日韩视频小说在线观看| 东京热,男人的天堂| 色五月av| 欧美大波激情xxxx| 探花视频免费观看国产专区| 国产精品毛片?v一区二区三区| 偷拍三区| 再深点灬舒服灬太大了好硬好爽| 色五月婷婷麻豆在| 亚洲免费日韩在线一区二区| 伊人96在线| 欧美综合色,www| 激情五月天中文字幕色| 免费?级毛片无码?∨蜜芽试看| 吖在线不卡一区二区国产剧情 | 一本久道在线综合视频| 欧美国产日韩清纯唯美| 日韩精品熟妇| 久啪视频| 99久久精品无码一区二区毛片免费 | 热久久这里只有精品| 久久久久久性爱视频| 午夜福利区| 欧美最婬乱婬爆婬牲视频| 青青久日| 黄色免费一级在线毛片| 伦伦成年午夜免费视频| 国产又粗又又黄又猛| 免费人人搞97| 欧洲一区二区| 两女互慰AV高潮喷水在线观看| 国产AV无码AV| 打av高清| 天天干嫩逼网| 欧美系列在线一区二区| 亚州精品丝袜-不卡成人免费| 亚洲综合骚逼| 国产精品成久久久久午夜午夜| 天天操夜夜操狠很操| 九九色色| 亚洲天堂久| 人人性爱视频免费| 亚洲AV免费在线观看| 欧美日韩另类字幕中文| 日韩性爱一级片| 亚洲四虎熟女精品| 区二区亚洲婷| 亚洲综合另类| 熟妇操花| 和协影院中文字幕三区| 夜夜做夜夜爽精品视频| www亚洲免费| 精品大久久| 亚洲图片欧美另类综合免费视频大大香| 欧美色偷偷| 欧美日韩操逼嗦吊| 国产日韩美女小穴视频网站不卡| 色狠狠综合| 超碰无码五月97| 男女做爰猛烈动高潮A片免费应用| 久久精品国产96精品亚洲拳交| 日韩伦理久 久久 清纯| av一区二区三区不卡| 国产又粗又又黄又猛| 天欧美在线| 波多野42部无码喷潮在线观看| 天堂蜜桃无码视频一区二区| 大香蕉中文网| 欧美性爱另类综合| 久久久熟女一区| 亚洲日本激情| 蜜臀久久99精品久久久久免费观| 肏逼视频日本| 91人妻视频| 97精品一区二区视频| 人妻一区二区三区| 中国操逼无码| 大乔未久88一区| 成人av在线播放| 久久精品一区| 做爱A级亚欧| 婷婷九月国产| 中文高清一区二区的| 亚洲熟女人妻中文字幕一区二区| 丁香六月激情| 亚洲天天操| 日本免费不卡二区| 91精品微拍福利| 神马久久久久久久久久| 在线观看免费视频国产| 日韩欧亚中文在线| 久热香蕉精品在线视频| 久久鲁夜| 乱伦av麻豆| 9999久久久久| 校园春色 男人天堂 | 国产精品呦一区二区三区| 老熟妇一区二区三区啪啪| 噜噜噜在线视频| 超碰这里有精品| 亚洲AV无码乱码在线观看性色| 青青草在线视频播放器| 欧美制服网站美腿丝袜| 人人摸.人人色| 天天日天天操VV| 国产成人无码啪| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | av凤凰久久久| 91狠狠综合久久| 亚洲天堂人妻一区二区| 人妻丰满熟妇一区二区三| 狠狠做深爱婷婷久久二区| 国产 v乱码一区二| 国产无码高清操逼视频| 一卡二卡三卡| 妇女视频网站| 日本福利社| 欧美gv在线观看| 嗯嗯啊啊日韩精品| 亚洲人成色9999精品久久| 95自拍视频在线观看| 夫妻AV网站| 中文字幕日韩国产传媒欧美精品| 最新国产亚洲精品精品国产亚洲综合 | 人人摸.人人色| 97精品视频在线| 91色爽欧美| 九九综合久久| 久久久国产亚洲精品系列| 91热| 欧美 传媒 麻豆 日韩 偷拍| 一本一道人妻久久一区二区三区| 熟女人妻一区二区三区| 热思思免费视频| 九九九久| 天天操天天日天天干| 天美传媒av 在线| 久草免费福利在线播放| 欧美亚洲今日在线| 国产怡红院在线| 精品人妻一区二区免费蜜桃| 婷婷亚洲天堂| 探花一区在线| 日本免费人成视频播放120秒| 成人国产二区三区在线,男女精品。| 日日骚 av| 色蜜AV| 日本性爱少妇| 免费一级黄色录像影片| 美女尤物人人操| 超清福利精品视频在线| 成·人免费午夜在线观看| 老司机香蕉久久久久| 成人精品一区二区三区| 日韩电影天堂视频一区二区| 欧美日韩黄色片一区二区三区四区人与兽做爱| 婷婷中文字幕| 久久麻豆一区二区| 国产免费一区二区三区最新不卡| 久久草在线综合视频| 樱花蜜乳av| 国产在线视频二区| 综合国产影视三级| 国产精品久久久久久照片| 97超碰人人操人人操| 酒色综合网| 精品玖九九久| 精品少妇一区二区三区在线视频 | 久久精品女同亚洲女同13| 99蜜桃臀亚洲成人在线观看| 91天天c| 婷婷五月天无码 | 精品一区二区成人| 国产1769在线| 婷婷综合五月天| 五月婷婷激情综合| 骚逼高潮久久精品| 农村妇女一级二级三级视频| av国产无码| 国产精品久久久久久久毛片1| 欧美一级久久久久久久大片动画| 日韩欧美中文| 激情干在线| 嗯嗯啊啊好大好爽| 999综合色| 精品成人女人久久| 成人性生活高清视频在线播放| 日韩无码服务区| 日本不卡码黄色| 蜜臀久久99精品久久久久久久久| 东京太热久久久| 国产老熟女| 亚洲天堂自拍| 日韩人人精品| 天堂性色| 一级做a爰片性色毛片久久| 高清国产无码av| 美女尤物人人操| 亚洲经典啪啪| 青青草九九九九九| 亚洲的天堂网| 又粗又长又大国产不卡| 亚洲97久久精品亚洲| 日韩女模中文造逼| 香蕉99秘 精品一区丁香| 久久做97| 久久风骚城市人| 亚洲第一页欧美| 国产乱码久久久久久| 亚洲熟久久| 老女人爆菊| 亚洲图片日本AⅤ欧美在线| 久久精品国产亚洲AV高清演员表| 國產尤物AV尤物在線觀看| 超碰99在线| 久久久久久91香蕉国产| 伊人欧美大香蕉视频| 免费AV中文网在线观看| 91精品人妻电影| 日韩在线视频1234| 中出20p| 亚洲AV无码秘 蜜桃臀国精产品| 免费1级a做爰片观看| 人妻无码一区二区三区久久99| 91国产丝袜美女| 亚洲熟女av中文字幕| 强奸乱伦大香蕉| 婷婷中文字幕| 久久成人精品| 变态乱伦伪娘灌肠一区二区| 久久久久久大| 熟女露脸激情自拍视频| 色屁屁影院www国产| 99re国产中文字幕| 日日做夜狠狠爱欧美黑人| 丰满人妻-区二区三区免费看 | 国产综合操逼高清| 欧美综合色站| 国产视频第二页| 国产精品久久久久久片| 成人线上超碰| 亚洲AV无码久久久国产精品| 人妻少妇无码| 亚洲精品天天影视综合网 | 久久的网站啊啊啊啊啊| 91蜜臀熟女| 亚洲城人男人的天堂| 欧美日韩人人早| 日日黄色三级网站| 日韩精品资源| 东京热天堂网| 天天色黄色影院天天操| 国产1769在线| www.欧精品| 性性欧美| 亚洲一区中文字幕| 中文字幕人成乱码熟女香港| 国产情侣自拍在线播放| 亚洲国产精品久久久久婷婷青年| 日韩无码AB| 中文字幕一区二区无码成人| 中国AAAAAA黄色片| 欧美系列在线一区二区| 香蕉在线一区二区三区| 欧美韩国你懂得在线| 五月天AV资源| 国产精品久久久久无码Av网曝门| 三男一女不戴套的A片| 国产精品久久久久中文字幕| 久久久久婷婷| 求求你操操我| 天天干电影| 老熟女乱子伦中文字幕一区二区| 一区二区三区亚洲| 亚洲码专区| 偷拍网站久久男女男| 秋霞鲁丝午夜无码一区二区三| 超碰在线免费一区二区三区| 97爱爱爱| 欧美在线观看综合国产| 亚洲综合小视频小说在线观看 | 欧美18老人禁| 99久久婷婷国产综合精品草原| 超碰97资源中文字幕| 伊人久大| 久久精品中文字幕观看| 台湾佬激情综合| 欧美综合在线第一页| 一级人妻性爱视频| 无码色| h无码动漫在线观看| 人妻少妇久久久| 好舒服视频| 看日韩黄片| 婷婷性爱| 欧美亚洲韩国视频十五区| 超清福利精品视频在线| 啊啊啊啊啊啊在线看| 69久久| 日韩成人大片一区二区| 91国精产品| 欧美美女视频| av日韩手机在线影视| 啊啊啊好湿久久| 亚洲乱妇p22| 久久欧美性爱视频| 色偷偷人人玩人人舔人人操人人摸人人爽 | 亚洲AV色图| 久久久免费一级黄片| 中文字幕超碰CAO| 好爽视频在线观看视频| 少妇超碰在线| 欧美天天干| 另类图片五月天| 夜夜高潮夜夜爽国产伦精品| 色婷婷五月综合激情中文字幕| 内射卯月麻衣| 激情综合二| 欧美色图 人妻| 热久久国产| 狠狠躁天天躁日日躁| 伊人天天久久动态图| 亚洲成?V人片在线观看福利| julia中文字幕在线观看| 人人操人人插 - 百度 - 百度| 清柠毛片| 蜜臀久久99精品久久久| 日韩乱码Av| 欧美翘臀视频网站一区二区三区| 五月丁香激情综合| 亚洲欧美另类图片| 91久久国产综合久久| 激情一区二区| 色综合色| 91亚洲色图| 熟妇视频一区二区三区在线观看| 亚洲麻豆av一区二区| 欧美最婬乱婬爆婬性视频 | 色噜噜精品一区二区三| 久久久不卡区一区二区三区久久久| 乱抡国产91| 欧美亚洲第1页| 精品美女久久久久| 久久久111| 中国国产精品一区视频| 啊啊啊啊,啊啊好多水| 操逼日韩无码 | 日韩性爱再线视频| 色九久| 天美传媒国产原创中文字幕亚洲欧美另类 | 欧美日韩第一页| 国产路线专区| 一本久道久久综合狠狠爱一密臀精| 大香樵伊人网| 国产91会所女技师在线观看| 美女丝袜激情小说| 色色热| 欧美欧美啪啪视频| 神马久久69| 91动漫操逼视频| 情色五月天就去干| 久久精品免费| av在线免费一区二区| 女上位精品在线| 澳门特级毛片免费观看| 亚洲成人贴图| 色香伊人| 国产精品女同| 亚洲αv一区二区三区| 午夜精品久久久久| 欧美成人A天堂片在线观看| 人人摸人人舔一区二区| 激情丁香五月婷婷| 免费啪啪av| 好湿好紧视频| 自拍欧美| 67914亚洲精品| 亚洲自拍天堂| 麻豆精品.欧美精品.日韩精品.| 国产成人AV麻豆| 91久久久久久久久18| 狠狠久久手机视频精品| 精品无人区麻豆乱码1区2区图片 | ′ !γ}丶。。久久精品欧美一区二区三区| 日韩极品无码B| 欧美少妇高潮视频| 一区二区蜜臀| 9久综合网| 女性喷水高潮在线观看| 国产尤物在线三区| 色网在线| 欧美熟爽综合| 99ri精品| 丝袜美腿制服人妻二区中文字幕| AV中文字幕三四五| 97一区二区三区视频| 国产久久久久久久久一区二区| 最新一二三区视频| 色色色色网站| 国产自产自拍| 中文字幕人成乱码熟女香港| 青草综合| 中文 人妻 制服| 日本不卡二三区| 殴美牲| 九九性爱网| 天天综合网日韩7799| 女人天堂av在线播放| 竹菊一区二区三区AV线| 久久人妻无码毛片A片麻豆| 看黑丝美女操逼青青网站| 国产11页| 欧亚在线视频| 在线观看色视频| 91伊人久| 男人天堂2017| 久久区| 亚洲天堂久久| 色香91| 福利一级版子| 亚洲情色图片区| 日韩内射视频| 97超碰天天| 青青草日逼视频| 国产精品一区人妻精品阁在线| 大香蕉AV在线| 亚洲欧洲另类| 超碰久热| 亚洲在线欧美| 特污精品女优骚货黄色视频在线免费观看| 免费视频观看60秒| 麻豆一区二区AV天美| 日日AAvv| 亚洲精品蜜桃久久久| 亚洲欧美国产va在线| 老鸭窝黄色视频网站| 天天摸天天插天天日| 久久婷婷一区二| 成人乱人伦一区二区| 一级性爱视频免费观看| 人妻二区| 多毛小伙内射老太婆 | 婷婷九月色| 狠狠干狠狠干| 久jiu久神马影院| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 国产尤物在线三区| 好吊色综合| 国产农村妇女精品| 日韩成人性日韩成人性爱视频在线免费观看 | 一区二区三区国产在线播放 | 欧美色偷偷| 国产 日韩,欧美 自拍| 亚洲av国产av综合av卡| 欧美日韩日产免费网站看| 欧美日产国产在线成人第一区| 嗯啊抽插大香蕉网页| 欧美性爱视频免费一区一A | 亚洲精品人妻吞精av | 欧洲色| 亚洲国产剧情少妇激情| 99只有精品| av草草在线电影| 欧美劲爆第一页| 性夜影院爽黄A爽免费动漫| 亚洲色婷婷久久久综合日本| 91被操| 久操网线| 欧美另类色图片| 麻豆黄四叶草网站| 国产乱人妻精品入口| 中文字幕国产| 凹凸视频在线一区二区| 色乱二区| 亚洲欧美激情另类色图| 91高跟美女在线播放| 大色网久久| 日韩成人高清一区二区| 激情视屏国产乱伦强奸| 99re6久热只有精品6在线直播| 2017人人操,人人摸| 亚洲色图欧美视频| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 国产在线精品电影观看| 欧美成人国产精品| 丰满人妻-区二区三区免费看 | 日本最新1区2区3区| 少妇人妻在线| 香蕉国产精品麻豆亚洲欧美日韩| 五月婷婷色| av中文在线| 91国产美女丝袜足交精品视频| 亚洲玖玖爱| 国产三级资源在线观看| 激情丁香婷婷| 日本精品国产视频| 91丝袜| 欧美 亚洲 91| 欧美色狠| 日本在线视频导航| A啊啊在线观看| 亚洲激情视频| 日本在线激情一区二区三区 | 黑人与人妻| 五十路三区在线| 成人福利视频网| 国产60区。| 五十路三区在线| 无码乱人伦中文视频| 快点操死我| 天天干18禁| 国产精品无码在线| 97超碰资源网| 国产高清午夜成人在线观看| 久久精品国产亚洲AV高级北京| 啊啊啊好湿国产一二| 欧美色综合网| 色嗨嗨在线| 亚洲大色堂| 国产h小视频在线观看免费| 婷婷亚洲天堂| 亚洲91射| 欧美麻豆成人同性GⅤ在线| 歐美性天天| 黄色免费网| 亚洲国产欧美日韩人妻日中文| 亚洲色图 91| 日韩AC| 日韩八十路老熟女| 色吧5亚洲| 蜜桃精品一区二区三区ww| 国产免费永久精品无码| 精品二区三四区五电影 | 骚日日av| 国产小视频91| 国产精品粉嫩福利在线| 影音先锋乱| 久久久精品中文字幕麻豆| 国产精品 久久久精品一牛| 800zy一区二区| 久久产精品一区二区三区电影| 日韩高潮一区| 中文字幕一区二区三区50路| 男人的天堂啪啪| 在线欧美亚洲| 殴美牲| 加勒比综合网| 乱理日韩中文| 日韩免费中文字幕视频| 亚洲精品久| 日本成a人v网站在线观看| 国产精品久久久亚洲一区| 啊啊啊想要| 亚洲 中文 女同| 精品人妻一区二区三区四区石在线 | 成人婷婷丁香| 蜜臀99久久精品久久久懂爱| 男人天堂婷婷五月天校园春色| 97日韩| 九久久九精品视频| 91伊人久| 国产欧洲精品亚洲午夜拍精品| 九七毛片九九毛片| 国产一区二区啪啪视频| 蜜臀AV一区二区三区| 又大又白奶子| 日韩免费在线观看不卡| 大香蕉欧美国产日韩高潮| 欧美成人四级在线播放| 日本精品久久久久久久| 人、人、摸,人、人、草| 91M一社| 色蜜AV| 涩综合导航| 中国熟女网站| 激情小说五月天| aa片毛片| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 五月丁香成人网| 免费成人自拍视频在线| 二三四区精品| 色色五月丁香| 久久久精品中文字幕爱豆| 精品国产久久乱码| 六月天婷婷| 思思视频免费看网站| 欧美在线中M| 中文字幕精品一区二区精品| 麻豆国产精品午夜视频| 国产九九九九九九| 欧美日韩超碰在线| 伊人精品国产| 色吧综合网| 综合影院永久入口国产| 97欧美色| AND人妻系列| 人人干人人操人人..com| 综合 亚洲 欧美| 天天舔天天日天天射| 亚洲无码99| 国产黄色影片在线观看| 校园激情狠狠四射| 黄色不卡视频| 国产精品一二三免费网站| 国产亚洲欧美每日在线| 久热这里只有精品9| 60秒试看最爽10分钟网站| 91超级碰| 一区二区三区高清天码| 超碰人人干天天射| 69综合网| 蜜乳AV色欲AVAV无码| 国产强奸AV在线| 国产精品午夜福利| 黄色不卡视频| 婷婷亚洲色| 97无码视频在线播放| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 国产亚洲综合欧美一区| 眼镜人妻101.com| 97在线视频免费看| 乱色老一区二区三区的观看方式 | 高清不卡国产| 日韩性爱网址| 国产精品视频一区二区三区八戒| 操碰97| 99热这里只有精品1| 欧美亚洲se91| 国产中出内射一区二区| 男人天堂毛片| 日韩色女精品| 久久99精品国产| 麻豆av一区二区三区| 五月婷婷激情综合| 国内自拍 日韩激情 99| 欧美十八禁导航成人| 麻豆三极片| 黄色工厂这里只有精品| 在线 欧美 亚洲| 啊好爽快点-国产一区二区三区撒尿在线-成人AV| 性爱动态120秒| 国产精品视频精品一二| 思思性爱| av无码av无码专区| 国产特级毛片AAAAAA高潮流水| 久操精品| 男人午夜天堂| 男人天堂欧美| 国产精品久久久久久久久久久久| 亚洲欧美国产精品久久久久久久| 亚洲大色堂| 91中文精品日韩欧美在线| 国产精品久久久视频| 欧美九九爱| 又黄又爽在线观看视频| 久久一二三四五六七八九区区区| 免费看日本操逼视频| 国产a级午夜毛片| 国产中文字幕曰本毛片| 爱av免费| 国产又操| 在线播放中文字幕| 人妻99p| 日本午夜久久电影| 十八禁视频网站| 激情综合网五月婷婷五月天| 狠狠色噜噜狠狠狠狠狠色综合久久| 亚欧性爱无码| 最新中文字幕在线亚洲| 亚洲欧洲日韩国产自在线| 久草视频在线视频在线视频在线观看 | 亚洲综合20p| 女人综合网| 亚洲精品欧美专业| 婷婷丁香六月天| 97电影院超碰| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 夜夜夜爽www精品视频| 国产蜜臀精品一区二区尤物| 99re在线视频这里只有精品| 国产91丝袜 在线播放| 上床啊啊啊| av中亚| 色欲天天婬色婬香WWW夜色| 中文字幕精品免费一区二区| 欧美一二三级精品在线| 91精品久久久久五月天精品| 日本丝袜人妻内射| 亚洲综合婷婷| 天天综合网~69| 射丝袜高跟鞋99| 91网18| 97久久天天综合色天天综合色电影| 97资源站久久| 2020中文字幕在线观看| 人人看黄色视频| 浪人综合网| 另类小说五月天| 国产丸一视频| 亚洲图片欧美偷拍| 欧美性色网| 美女主播色欲91抠b在线播放| 精品人妻丰满熟妇一区二区三| 夜夜欧美| 色色网91| 熟女人妻一区二区三区| 婷婷五月天丁香花| 97资源欧美| 呻吟 欧美 日本 中出| 大香蕉久久| 日日操免费视频| 在线视频日韩欧美国产| 极品五月天噜噜| 色欧洲97| 欧美在线大香999| 一区二区三区日韩欧美| 91成人社区| 色与欲影视| 五十路六十路七十路熟婆| 国产 v乱码一区二| 91丝袜美女| 日韩综合色网| 日本成人在线不卡一区二区三区| 国产精品亚洲高清在线| 五月天婷婷影院| 麻豆国产第一| 国产精品97视频| 自拍偷拍草一草| 人人透人人操| 亚洲情色在线| 国产一区在线看| 国产性爱在线视频一区二区| 九九伊人网| 嗯嗯嗯啊啊啊干死我吧| 99re免费| 91超级碰| 美美91成人国产精品欧美精品久久久久久久 | 九九久精品| 亚州熟女乱伦| 26uuu欧美| 9精品久久| 欧美高清18A片| 9久精品| 免费超碰97久久| 日韩强奸av| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 亚洲综合小视频小说在线观看| 九九九九97| 久久久久久久久久va| 五月丁香啪啪| 操死我了啊啊啊| 91 欧美| 免费毛片在线播放| 91xingse| 精品免费囯产一区二区三区| 青娱乐亚洲自拍| 久久夜嗨| 久久大黄片| 国产免费一区二区在线A片视频| 久久久久亚洲精品| 色欲久久久久综合网| 日韩一区二区精品视频| 欧美日韩精品青青| 园内精品自拍视频在线播放| 沈阳熟女高潮对白视频| 日韩中文字幕二区| 天综合网欧美| 午夜视频好爽啊| 国产一区96在线| 另类专区加勒比| 欧美精品一区二区少妇免费A片| 国产精品青青草| 91亚洲网站| 国产亚洲精品自在线亚洲情侣| 青青草久久| 91精品久久久久五月天精品 | 一二三区在线| 啊v在线观看视频| 嫖老熟女A片一二三区| 欧美综合 站| av午夜影院在线播放| 97久久久精品| 亚洲免费在线探花| 中文字幕天天操| 久久精品国产亚洲妲己影视| 中文字幕视频2区| 牛牛AV人人夜夜澡人人爽| 女同亚洲欧美一二三区久久电影| 碰人碰碰人人开房人肉| 国模艳艳啪啪一区| 97少妇人妻中文字幕久久| 国产专区第一页| 999熟女精品| 东亚亚洲无码高清| 男人的天堂kva| 国产高潮AA片免费看| 丝袜 中出 制服 人妻 美腿 中文字幕| 99久久综合网| 欧美情色亚洲| 天天操女人| 日韩三级在线观看网站| 亚洲天堂第一页| 日韩福利电影网| 日本 免费 一区二区三区 久久香蕉| 高清有码一区二区| 蜜臀久久在线视频| 九色精品视频导航1| 亚州高清av| 麻豆国产96在线| 玖玖久久久| 性色一线| 亚洲国产91精品一区二区久久| 18岁禁 茉莉成人久久| 日韩精品一区二区日韩| 国产精品97超碰| 五月丁香成人网| 丰满人妻-区二区三区免费看| 大香蕉亚洲中文| 一级人妻性爱视频| 嗯嗯嗯啊啊啊干死我吧| 久久激情综合| 精品夜夜澡人妻无码AV| 色月天AV导航| 三级三级三级a级全黄三| 青青草AV色| 美女露胸露奶头| 91精品久久久| 大香蕉2017| 国产乱码久久| 亚洲一区二区三区中文字幕| 亚洲春色欧美| 美女露胸露屁股| 亚洲啪啪视频一区二区| 日韩精品亚洲一二三| 亚洲综合码| 成年女人黄网站| 人妻久久| 亚洲码和欧洲精品激情系列| 岛园激情| 中文字幕第9页萱萱影音先锋| 日韩精品人妻中文字有码在线| 一区二区三区精品久久| 男人天堂欧美| 亚洲综合大片| 吻戏激情性巴克| 国产一在线观看| 91观看 国产白丝| 日日夜夜草草草| 可以看的av| 欧美日韩黄片精品在线| 日韩综合97p| 艳尻美人妻| 91色情黑丝搞鸡在线观看一区二区三区三州| 麻豆成人影音在线| 极品色电影院| 免費人妻夜夜爽天天爽爽一区| jizzjizz欧美| 人妻另类 专区 欧美 制服| 五月天亚洲网| 九九热超碰97亚洲最新香蕉| 一级免费啪啪片| 日本操逼视频不卡直接放| 伊人麻豆传媒| 东方亚洲在线操逼天堂| 亚洲中文人妻色| 91操人视频| 日本操逼视频不卡直接放| 91熟女视频网| www.99色| 久久这里只精品免费福利| 91综合天天看| 最新av在线| 久久国产精品一级二级三级| 国产精品久久久久无码AV会牛| 欧美综合91| 丁香六月综合激情| 啊啊啊啊啊啊啊在线| 先锋精品av色鲁| 日本视频一区二区三区| 超碰成人人人爽人人爽| 无码男人天堂| 蜜臀久久99精品久久久久久久久| 国产亲戚伦亲在线| www.人人摸在线视频| 成人老鸭窝人人在线视频| 任你草| 人妻丰满熟妇一区二区三| 亚洲国产97| 骚妻少妇精品性色无码四色A V| 少妇天堂网络| 中文字幕成人| 一级乱伦网站| 精品999一区二区| 肉丝无码中文高清| 最新精品久久蜜桃 | 91熟女少妇| 欧美亚洲涩涩| 夜夜一区二区| 精品久热| 久久久97| 97人人操人人干| 午夜欧美女人操逼| 豆花视频操逼网址| 日本影视久久免费| 青青五月天| 激情黄色五月天| 少妇色综合| 超碰97在线色男人??| 欧美78| 99热导航| 欧美国产视频| 日本加靬比网站发布页| 超碰色中文| 一二三啪啪专区| 91n美女视频| 久久久久久九九九九| 精品小视频在线| 91男女啊啊啊| 五月丁香六月婷| 国产亚洲精品美女久久久| 国产亚洲欧美每日在线| 国产辣妈在线视频福利| 中文字幕美女91| 一区不卡在线观看av| 天天弄天天操| 日本视频在线观看污污污| 经典丝袜一区| 超碰97资源大奶| 日韩中文字幕熟妇人妻 | 久热大香蕉网站| 国产精品久久久久久久久久久久久久久久久久| 91美腿丝袜在线观看| 九九色逼| 96精品在线| 久久免费看高潮毛片韩国| 婷婷情色五月天| 精品一区二区三区四区外站| 91欧美巨乳| 天美久久久久| 92久久| 日本成人在线不卡一区二区三区| 欧美日韩婷婷中文| 日韩免费在线观看不卡| 蜜臀一区二区三区在线 | 欧美黑人与女人91~| 麻豆九九九| 青青操少妇| 精品人妻伦一区二区三区久久| 亚洲精品久久久久久| 欧美成人精品一区| 久久精品国产精品一区| ,成人免费啪啪视频| 久久九九国产精品| 日本三级大片| 九一屌逼| 330dv亚洲成年视频网| 韩国毛片一区二区三区| 精品人妻一区二区三区不卡断| 激情色图| 小说区 图片区色 综合区| 午夜国产乱伦视频| 国产精品69人妻无码久久久| 日本在线视频导航| 91原创在线观看| 98超碰日本| 久久东京热久久| 午夜超爽| 欧美精品日韩一区二区| 91啪9色| 久久精品电影| 91性色| 欧美顶级黄色大片免费| 99热这里只有精| 国产第11页| 精品视频久久| A V视频日本| 黑丝内射一区二区三区| 久久久久9| 亚洲欧美第一页| 老司机老司机午夜影院| 啊啊啊啊嗯嗯嗯用力好爽 | 国产成人精品亚洲日本| 桃色六月天| 劲爆欧美人妖三区91| 天天日天天干天天操| 国产精品视频白浆免费| 欧美老熟另类| 国内毛片四区| 日本免费人成视频播放120秒| 丁香婷婷啪啪| 亚洲AV无码久久精品蜜桃小说| 日夜精品| 青娱乐 青青青操 日逼| 91亚州日韩高清| 国产精品国产| 欧美在线啊啊| 精品一啪| 香蕉久久精品| 久久岛国| 日本操BAV| 91久久国产综合精品| 麻豆天美一区二区| 精品国产丝袜一区二区三区乱码 | 黄色在线网站| 伊人天堂在线| 91九色丰满高潮| av爱爱爱| 亚洲欧洲综合视频在线| 一本久久精品中文字| 中文一区二区三区影院| 91久久99久久91熟女精品| 中文字幕一区二区三四五区日日骚| 久久久96| 六月丁香五月婷婷| 91精品少妇搡搡搡| 高潮毛片无遮挡高清免费| 婷婷国产精品九区| 女生久久网| 久久久国产成人一区二区三区在线| 婷婷五月天无码| 无码直播久久久|