久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

深入Linux內(nèi)核TCP狀態(tài)機(jī):從TIME_WAIT到CLOSE_WAIT的故障排查與調(diào)優(yōu)

深入Linux內(nèi)核TCP狀態(tài)機(jī):從TIME_WAIT到CLOSE_WAIT的故障排查與調(diào)優(yōu) 在實(shí)際網(wǎng)絡(luò)編程和系統(tǒng)調(diào)優(yōu)中理解 TCP 連接的生命周期是診斷網(wǎng)絡(luò)超時(shí)、連接池耗盡、端口占用等問題的基石。很多開發(fā)者熟悉三次握手和四次揮手的概念但面對(duì)netstat命令輸出的TIME_WAIT、CLOSE_WAIT、FIN_WAIT_2等狀態(tài)時(shí)往往難以快速定位問題根因。這些狀態(tài)的產(chǎn)生、轉(zhuǎn)換和超時(shí)都源于 Linux 內(nèi)核中 TCP 協(xié)議棧對(duì) RFC 793 標(biāo)準(zhǔn)狀態(tài)機(jī)的具體實(shí)現(xiàn)。僅僅記住狀態(tài)轉(zhuǎn)換圖是不夠的必須結(jié)合內(nèi)核源碼、系統(tǒng)配置和實(shí)際網(wǎng)絡(luò)包交互才能理解為什么連接會(huì)卡在某個(gè)狀態(tài)以及如何安全地干預(yù)。本文將從工程實(shí)踐角度深入 Linux 內(nèi)核的 TCP 狀態(tài)機(jī)。我們不會(huì)停留在理論狀態(tài)圖而是結(jié)合netstat、ss命令的輸出解讀內(nèi)核源碼以穩(wěn)定版 5.x 為例中的關(guān)鍵邏輯并分析常見故障狀態(tài)如大量TIME_WAIT、CLOSE_WAIT的產(chǎn)生場(chǎng)景和解決方案。通過本文你將能清晰地回答當(dāng)服務(wù)器出現(xiàn)大量CLOSE_WAIT時(shí)是應(yīng)用程序的問題還是內(nèi)核參數(shù)的問題調(diào)整tcp_fin_timeout或tcp_tw_reuse究竟影響了狀態(tài)機(jī)的哪個(gè)環(huán)節(jié)1. TCP 狀態(tài)機(jī)從 RFC 到內(nèi)核實(shí)現(xiàn)的理解框架TCP 狀態(tài)機(jī)定義了一個(gè)連接從建立到終止所有可能的狀態(tài)以及狀態(tài)間的轉(zhuǎn)換規(guī)則。RFC 793 標(biāo)準(zhǔn)定義了 11 種狀態(tài)CLOSED,LISTEN,SYN_SENT,SYN_RECEIVED,ESTABLISHED,FIN_WAIT_1,FIN_WAIT_2,CLOSE_WAIT,LAST_ACK,TIME_WAIT, 以及理論上瞬間的CLOSING。Linux 內(nèi)核的 TCP 實(shí)現(xiàn)嚴(yán)格遵循此狀態(tài)機(jī)但增加了更多細(xì)粒度的內(nèi)部狀態(tài)以適應(yīng)高性能和復(fù)雜網(wǎng)絡(luò)環(huán)境。理解狀態(tài)機(jī)的關(guān)鍵不在于背誦所有箭頭而在于掌握三個(gè)核心視角主動(dòng)視角與被動(dòng)視角發(fā)起連接的一方客戶端和接受連接的一方服務(wù)器經(jīng)歷的狀態(tài)序列不同。報(bào)文驅(qū)動(dòng)所有狀態(tài)轉(zhuǎn)換都由接收或發(fā)送特定的 TCP 報(bào)文段SYN, ACK, FIN, RST觸發(fā)。超時(shí)機(jī)制每個(gè)非穩(wěn)定狀態(tài)都關(guān)聯(lián)著定時(shí)器防止連接無限期掛起。一個(gè)常見的誤解是將狀態(tài)機(jī)視為應(yīng)用程序控制的。實(shí)際上狀態(tài)機(jī)主要由內(nèi)核 TCP/IP 協(xié)議棧維護(hù)。應(yīng)用程序通過socket()、connect()、accept()、close()等系統(tǒng)調(diào)用向內(nèi)核發(fā)出指令內(nèi)核根據(jù)指令和網(wǎng)絡(luò)報(bào)文來驅(qū)動(dòng)狀態(tài)變遷。因此排查狀態(tài)異常時(shí)需要同時(shí)審視應(yīng)用程序的代碼邏輯和內(nèi)核的協(xié)議棧行為。2. 環(huán)境準(zhǔn)備與觀察工具在深入狀態(tài)轉(zhuǎn)換之前我們需要準(zhǔn)備好觀察狀態(tài)的環(huán)境和工具。任何 Linux 發(fā)行版均可但內(nèi)核版本建議在 4.x 以上以便使用更現(xiàn)代的觀測(cè)工具。2.1 核心觀測(cè)命令netstat和ss是查看 TCP 連接狀態(tài)最直接的工具。ss來自iproute2包性能更好信息更詳細(xì)是netstat的現(xiàn)代替代品。# 安裝 ss (通常系統(tǒng)已預(yù)裝) sudo apt-get install iproute2 # Debian/Ubuntu sudo yum install iproute # RHEL/CentOS # 查看所有 TCP 連接及其狀態(tài) ss -tna關(guān)鍵輸出列解釋State: 連接狀態(tài)即我們關(guān)注的狀態(tài)機(jī)狀態(tài)。Local Address:Port: 本地 IP 和端口。Peer Address:Port: 對(duì)端 IP 和端口。-n參數(shù)禁用域名解析顯示更快。2.2 內(nèi)核參數(shù)與日志TCP 狀態(tài)機(jī)的行為受一系列/proc/sys/net/ipv4/下的內(nèi)核參數(shù)控制。了解它們對(duì)于調(diào)優(yōu)和排錯(cuò)至關(guān)重要。# 查看與 TCP 狀態(tài)超時(shí)相關(guān)的關(guān)鍵參數(shù) cat /proc/sys/net/ipv4/tcp_fin_timeout # FIN_WAIT_2 和 TIME_WAIT 狀態(tài)超時(shí)時(shí)間 cat /proc/sys/net/ipv4/tcp_tw_reuse # 是否允許復(fù)用 TIME_WAIT 狀態(tài)的 socket cat /proc/sys/net/ipv4/tcp_max_tw_buckets # 系統(tǒng)允許的 TIME_WAIT 連接最大數(shù)量 cat /proc/sys/net/ipv4/tcp_keepalive_time # 保活探測(cè)起始時(shí)間內(nèi)核日志 (dmesg或/var/log/kern.log) 有時(shí)會(huì)記錄 TCP 的異常事件如重傳超時(shí)、無效段等是排查復(fù)雜問題的輔助手段。2.3 簡(jiǎn)易測(cè)試環(huán)境搭建我們可以使用nc(netcat) 和telnet快速創(chuàng)建 TCP 連接并配合ss觀察狀態(tài)變化。# 在終端1啟動(dòng)一個(gè)監(jiān)聽服務(wù)器 nc -l 8080 # 在終端2使用 ss 觀察監(jiān)聽狀態(tài) ss -tna | grep :8080 # 輸出應(yīng)類似: LISTEN 0 1 *:8080 *:* # 在終端3連接該服務(wù)器 telnet localhost 8080 # 立即在終端2再次運(yùn)行 ss會(huì)看到 ESTABLISHED 狀態(tài)的連接3. 連接建立與終止?fàn)顟B(tài)轉(zhuǎn)換詳解與內(nèi)核源碼映射本節(jié)我們以一次完整的 TCP 連接為例跟蹤每個(gè)狀態(tài)并簡(jiǎn)要關(guān)聯(lián)內(nèi)核源碼中的處理邏輯基于 Linux 5.10 內(nèi)核。3.1 三次握手與狀態(tài)轉(zhuǎn)換場(chǎng)景客戶端 (10.0.0.1:50000) 連接服務(wù)器 (10.0.0.2:80)。LISTEN服務(wù)器端應(yīng)用程序調(diào)用listen()后socket 進(jìn)入此狀態(tài)等待 SYN 報(bào)文。內(nèi)核源碼net/ipv4/tcp.c中的tcp_v4_rcv函數(shù)是 TCP 報(bào)文入口。當(dāng)收到 SYN 報(bào)文且找到對(duì)應(yīng)的LISTENsocket 時(shí)會(huì)調(diào)用tcp_conn_request處理連接請(qǐng)求。觀察ss -tna | grep :80顯示LISTEN。SYN_SENT客戶端調(diào)用connect()后內(nèi)核發(fā)送 SYN 報(bào)文socket 進(jìn)入此狀態(tài)等待服務(wù)器的 SYN-ACK。內(nèi)核源碼connect()系統(tǒng)調(diào)用最終會(huì)調(diào)用tcp_connect函數(shù)初始化序列號(hào)并發(fā)送 SYN。觀察在客戶端機(jī)器上連接成功后此狀態(tài)瞬間消失。如果卡在此狀態(tài)通常是對(duì)端未響應(yīng)防火墻丟棄、服務(wù)未監(jiān)聽。SYN_RECEIVED(常被縮寫為SYN_RECV)服務(wù)器端收到 SYN 后回復(fù) SYN-ACK并進(jìn)入此狀態(tài)等待客戶端的 ACK。這是“半連接”狀態(tài)是 SYN Flood 攻擊的目標(biāo)。系統(tǒng)用syn backlog隊(duì)列存放這些連接。內(nèi)核參數(shù)net.ipv4.tcp_max_syn_backlog控制隊(duì)列大小。觀察通常很難用ss直接看到因?yàn)檗D(zhuǎn)換很快。但在高并發(fā)連接或遭受攻擊時(shí)netstat -n -p TCP | grep SYN_RECV可能會(huì)看到大量此類連接。ESTABLISHED雙方客戶端收到 SYN-ACK 后發(fā)送 ACK服務(wù)器收到此 ACK。至此雙方連接建立進(jìn)入數(shù)據(jù)傳輸狀態(tài)。內(nèi)核源碼對(duì)于被動(dòng)方服務(wù)器在tcp_rcv_state_process函數(shù)中處理第三次握手的 ACK將連接狀態(tài)置為ESTABLISHED并移入accept隊(duì)列。關(guān)鍵排查點(diǎn)如果服務(wù)器accept()調(diào)用太慢ESTABLISHED連接會(huì)在內(nèi)核的accept隊(duì)列中堆積。隊(duì)列長(zhǎng)度由listen()的backlog參數(shù)和內(nèi)核參數(shù)net.core.somaxconn共同決定。隊(duì)列滿后新連接可能被丟棄。3.2 四次揮手與狀態(tài)轉(zhuǎn)換場(chǎng)景客戶端主動(dòng)關(guān)閉連接。FIN_WAIT_1主動(dòng)關(guān)閉方客戶端應(yīng)用程序調(diào)用close()或shutdown(SHUT_WR)內(nèi)核發(fā)送 FIN 報(bào)文進(jìn)入此狀態(tài)。等待對(duì)端的 ACK或?qū)Χ说?FIN如果兩端同時(shí)關(guān)閉。內(nèi)核源碼tcp_close函數(shù)會(huì)啟動(dòng)關(guān)閉流程發(fā)送 FIN。CLOSE_WAIT被動(dòng)關(guān)閉方服務(wù)器收到對(duì)端的 FIN 后內(nèi)核回復(fù) ACKsocket 狀態(tài)變?yōu)镃LOSE_WAIT。這是一個(gè)明確的應(yīng)用程序問題指示器。該狀態(tài)表示對(duì)端已關(guān)閉發(fā)送通道但本端應(yīng)用程序尚未調(diào)用close()來關(guān)閉本端連接。本質(zhì)連接處于“半關(guān)閉”狀態(tài)服務(wù)器仍可以發(fā)送數(shù)據(jù)給客戶端但不會(huì)再收到客戶端數(shù)據(jù)。觀察與危害ss -tna | grep CLOSE_WAIT。大量CLOSE_WAIT會(huì)耗盡文件描述符導(dǎo)致服務(wù)無法新建連接。FIN_WAIT_2主動(dòng)關(guān)閉方客戶端收到對(duì)端對(duì)自己 FIN 的 ACK 后進(jìn)入此狀態(tài)。等待對(duì)端的 FIN 報(bào)文。超時(shí)由net.ipv4.tcp_fin_timeout控制默認(rèn) 60 秒。超時(shí)后連接直接銷毀。LAST_ACK被動(dòng)關(guān)閉方服務(wù)器當(dāng)應(yīng)用程序終于調(diào)用close()后內(nèi)核發(fā)送本端的 FIN 報(bào)文進(jìn)入此狀態(tài)。等待對(duì)端對(duì)這個(gè) FIN 的 ACK。TIME_WAIT(2MSL 狀態(tài))主動(dòng)關(guān)閉方客戶端收到對(duì)端的 FIN 后發(fā)送最終的 ACK并進(jìn)入TIME_WAIT。目的可靠地終止連接確保最后的 ACK 能到達(dá)對(duì)端如果丟失對(duì)端會(huì)重傳 FIN。讓舊連接的重復(fù)報(bào)文在網(wǎng)絡(luò)中消逝防止具有相同四元組源IP、源端口、目的IP、目的端口的新連接收到屬于舊連接的延遲報(bào)文。持續(xù)時(shí)間2 倍 Maximum Segment Lifetime (MSL)。Linux 默認(rèn) MSL 為 60 秒因此TIME_WAIT默認(rèn)持續(xù)120 秒。該值由net.ipv4.tcp_fin_timeout間接影響它控制FIN_WAIT_2和TIME_WAIT的超時(shí)但TIME_WAIT固定為 2MSL。觀察在高性能短連接服務(wù)如 HTTP 服務(wù)器上作為主動(dòng)關(guān)閉方的服務(wù)器會(huì)產(chǎn)生大量TIME_WAIT連接。這是正常現(xiàn)象但可能耗盡端口或內(nèi)存。CLOSING一種較少見的狀態(tài)雙方幾乎同時(shí)發(fā)送 FIN。此時(shí)雙方都處于FIN_WAIT_1收到對(duì)方的 FIN 后都進(jìn)入CLOSING等待對(duì)方的 ACK。收到 ACK 后進(jìn)入TIME_WAIT。CLOSED連接完全關(guān)閉資源已釋放。這是一個(gè)理論狀態(tài)ss或netstat不會(huì)顯示。4. 典型故障狀態(tài)分析與實(shí)戰(zhàn)排查理解了狀態(tài)轉(zhuǎn)換我們就可以系統(tǒng)地分析生產(chǎn)環(huán)境中常見的連接狀態(tài)異常。4.1 案例一服務(wù)器存在大量CLOSE_WAIT現(xiàn)象服務(wù)器監(jiān)控顯示CLOSE_WAIT連接數(shù)持續(xù)增長(zhǎng)最終導(dǎo)致“Too many open files”錯(cuò)誤新連接無法建立。根因分析 根據(jù)狀態(tài)機(jī)CLOSE_WAIT出現(xiàn)在被動(dòng)關(guān)閉方且需要等待應(yīng)用程序調(diào)用close()。因此根本原因一定是服務(wù)器應(yīng)用程序沒有正確關(guān)閉 socket。常見代碼缺陷未捕獲異常在 try-catch 塊中打開了 socket但異常發(fā)生時(shí)跳過了close()調(diào)用。// 錯(cuò)誤示例 (Java) try { Socket socket new Socket(host, port); // ... 業(yè)務(wù)邏輯可能拋出異常 socket.close(); // 如果上面拋出異常這行不會(huì)執(zhí)行 } catch (IOException e) { // 僅打印日志socket 未關(guān)閉 e.printStackTrace(); }未使用 try-with-resources 或 finally 塊Java或using語句C#。長(zhǎng)連接場(chǎng)景下邏輯缺陷導(dǎo)致close()在某些分支未被調(diào)用。使用了連接池但歸還連接時(shí)未正確重置或關(guān)閉。排查步驟確認(rèn)現(xiàn)象ss -tan state close-wait查看連接數(shù)量和對(duì)應(yīng)的進(jìn)程 PID (-p參數(shù))。定位進(jìn)程ss -tanp state close-wait | grep PID或lsof -iTCP:CLOSE_WAIT。分析代碼找到對(duì)應(yīng)進(jìn)程的源代碼檢查所有使用 Socket 的地方確保在任何路徑正常、異常、分支下socket 最終都被關(guān)閉。使用資源自動(dòng)管理// 正確示例 (Java) try (Socket socket new Socket(host, port); OutputStream out socket.getOutputStream(); InputStream in socket.getInputStream()) { // ... 業(yè)務(wù)邏輯 } catch (IOException e) { // 無需手動(dòng) close try-with-resources 會(huì)自動(dòng)處理 e.printStackTrace(); }內(nèi)核參數(shù)誤區(qū)CLOSE_WAIT是應(yīng)用程序行為導(dǎo)致的調(diào)整內(nèi)核 TCP 參數(shù)如tcp_fin_timeout無法解決此問題。必須修復(fù)應(yīng)用程序代碼。4.2 案例二服務(wù)器存在大量TIME_WAIT現(xiàn)象作為 HTTP 服務(wù)器如 Nginx、Tomcat在承受高并發(fā)短連接請(qǐng)求后ss -tan state time-wait顯示數(shù)量極多??赡馨殡S“無法分配本地端口”的錯(cuò)誤。根因分析TIME_WAIT出現(xiàn)在主動(dòng)關(guān)閉連接的一方。在 HTTP/1.0 或未開啟 Keep-Alive 的 HTTP/1.1 協(xié)議中服務(wù)器處理完請(qǐng)求后會(huì)主動(dòng)關(guān)閉連接從而成為主動(dòng)關(guān)閉方產(chǎn)生TIME_WAIT。這是 TCP 協(xié)議設(shè)計(jì)的正常部分目的是保證可靠終止和防止報(bào)文混淆。影響占用資源每個(gè)TIME_WAIT連接占用一個(gè)四元組本地IP、本地端口、遠(yuǎn)端IP、遠(yuǎn)端端口。在極端情況下可能耗盡可用端口特別是當(dāng)客戶端IP和端口固定時(shí)。內(nèi)存開銷每個(gè) socket 結(jié)構(gòu)體占用少量?jī)?nèi)核內(nèi)存。解決方案與內(nèi)核參數(shù)調(diào)優(yōu) 首先需要判斷TIME_WAIT是否真的成為了瓶頸例如端口不足的錯(cuò)誤日志。不要盲目?jī)?yōu)化。解決方案原理與操作風(fēng)險(xiǎn)與注意事項(xiàng)1. 啟用 HTTP Keep-Alive讓客戶端和服務(wù)器復(fù)用同一個(gè) TCP 連接處理多個(gè)請(qǐng)求減少連接建立和關(guān)閉的次數(shù)。這是應(yīng)用層首選方案。需要客戶端和服務(wù)器同時(shí)支持??赡茉黾臃?wù)器并發(fā)連接持有時(shí)間。2. 調(diào)整net.ipv4.tcp_tw_reuse允許內(nèi)核復(fù)用處于TIME_WAIT狀態(tài)的 socket 用于新的出向連接。echo 1 /proc/sys/net/ipv4/tcp_tw_reuse僅適用于客戶端出向連接。復(fù)用需滿足安全條件時(shí)間戳機(jī)制??赡芙邮张f連接的延遲報(bào)文但概率極低。3. 調(diào)整net.ipv4.tcp_tw_recycle已廢棄該參數(shù)在較新內(nèi)核中已移除。它曾用于快速回收TIME_WAIT但會(huì)破壞 NAT 環(huán)境下的連接切勿使用。Linux 4.12 內(nèi)核已移除此參數(shù)。在老版本中設(shè)置也極其危險(xiǎn)。4. 調(diào)整net.ipv4.tcp_max_tw_buckets系統(tǒng)允許的TIME_WAIT連接最大數(shù)量。超出后系統(tǒng)會(huì)直接銷毀最早的TIME_WAIT連接。echo 180000 /proc/sys/net/ipv4/tcp_max_tw_buckets一種“粗暴”的兜底方案。如果連接數(shù)真的超過此限制銷毀TIME_WAIT可能增加收到舊報(bào)文的風(fēng)險(xiǎn)。5. 使用SO_LINGER套接字選項(xiàng)應(yīng)用程序設(shè)置SO_LINGER并指定超時(shí) 0調(diào)用close()時(shí)會(huì)發(fā)送 RST 而非 FIN跳過TIME_WAIT。破壞性方案。對(duì)端會(huì)收到連接重置錯(cuò)誤。僅適用于對(duì)連接可靠性要求極低、且能容忍對(duì)端錯(cuò)誤的場(chǎng)景。生產(chǎn)建議優(yōu)先優(yōu)化應(yīng)用啟用并合理配置 Keep-Alive。謹(jǐn)慎調(diào)整內(nèi)核參數(shù)如果服務(wù)器主要作為客戶端如微服務(wù)調(diào)用方可以開啟tcp_tw_reuse1。對(duì)于服務(wù)器角色通常不建議為了減少TIME_WAIT而調(diào)整內(nèi)核參數(shù)除非有明確的端口耗盡證據(jù)。監(jiān)控監(jiān)控TIME_WAIT連接數(shù) (ss -tan state time-wait | wc -l) 和本地端口范圍使用情況 (cat /proc/sys/net/ipv4/ip_local_port_range)。4.3 案例三連接卡在FIN_WAIT_2或LAST_ACKFIN_WAIT_2過多現(xiàn)象主動(dòng)關(guān)閉方長(zhǎng)時(shí)間處于FIN_WAIT_2。原因被動(dòng)關(guān)閉方對(duì)端在收到 FIN 并回復(fù) ACK 后其應(yīng)用程序遲遲不調(diào)用close()發(fā)送 FIN即對(duì)端卡在了CLOSE_WAIT。解決問題在對(duì)端。需要檢查對(duì)端應(yīng)用程序的代碼確保及時(shí)關(guān)閉 socket。本端可以通過net.ipv4.tcp_fin_timeout默認(rèn)60秒控制等待時(shí)間超時(shí)后本端連接銷毀。LAST_ACK過多現(xiàn)象被動(dòng)關(guān)閉方長(zhǎng)時(shí)間處于LAST_ACK。原因本端已發(fā)送 FIN但未收到對(duì)端的最終 ACK。排查網(wǎng)絡(luò)問題導(dǎo)致 ACK 丟失對(duì)端是否正常對(duì)端是否因?yàn)門IME_WAIT過多導(dǎo)致端口/資源耗盡無法處理新報(bào)文對(duì)端是否有防火墻規(guī)則丟棄了 ACK 包內(nèi)核行為處于LAST_ACK的連接會(huì)重傳 FIN重傳策略由net.ipv4.tcp_retries2等參數(shù)控制。重傳失敗后連接最終被丟棄。5. 內(nèi)核參數(shù)調(diào)優(yōu)與最佳實(shí)踐以下表格整理了與 TCP 狀態(tài)機(jī)相關(guān)的主要內(nèi)核參數(shù)及其生產(chǎn)環(huán)境調(diào)優(yōu)建議。參數(shù)路徑默認(rèn)值含義調(diào)優(yōu)建議net.ipv4.tcp_fin_timeout60FIN_WAIT_2狀態(tài)的超時(shí)時(shí)間秒。也影響TIME_WAIT的 2MSL 計(jì)算。對(duì)于內(nèi)部高速網(wǎng)絡(luò)可適當(dāng)降低至 30以更快釋放資源。但降低過多可能干擾延遲較大的 FIN 重傳。net.ipv4.tcp_tw_reuse0是否允許將TIME_WAITsockets 重新用于新的出向連接。若服務(wù)器需要頻繁作為客戶端發(fā)起大量短連接可設(shè)為1。需確保net.ipv4.tcp_timestamps1默認(rèn)開啟。net.ipv4.tcp_max_tw_buckets依賴系統(tǒng)系統(tǒng)同時(shí)持有的TIME_WAIT連接最大數(shù)量。作為安全兜底可設(shè)置為一個(gè)較大值如 180000防止TIME_WAIT耗盡所有內(nèi)存。net.ipv4.ip_local_port_range32768 60999本地出向連接可用的臨時(shí)端口范圍。如果作為客戶端并發(fā)量極大可擴(kuò)大此范圍如 10000 65000。注意端口數(shù)不能超過 65535。net.ipv4.tcp_syn_retries6主動(dòng)建立連接時(shí)SYN 報(bào)文的重試次數(shù)。內(nèi)網(wǎng)環(huán)境可降低至 2-3以更快發(fā)現(xiàn)連接失敗。公網(wǎng)環(huán)境不建議調(diào)低。net.ipv4.tcp_synack_retries5被動(dòng)建立連接時(shí)SYN-ACK 報(bào)文的重試次數(shù)。同上內(nèi)網(wǎng)可適當(dāng)調(diào)低。net.core.somaxconn4096 (可能因發(fā)行版而異)系統(tǒng)級(jí)別listen()隊(duì)列的最大長(zhǎng)度。高并發(fā)服務(wù)應(yīng)調(diào)大如65535。需與應(yīng)用程序listen()的backlog參數(shù)配合使用。net.ipv4.tcp_max_syn_backlog1024SYN_RECV 狀態(tài)隊(duì)列半連接隊(duì)列的最大長(zhǎng)度。在可能遭受 SYN Flood 或超高并發(fā)連接時(shí)需要調(diào)大。通常與somaxconn一起調(diào)整。net.ipv4.tcp_keepalive_time7200 (秒)TCP ?;顧C(jī)制開始發(fā)送探測(cè)報(bào)文前的空閑時(shí)間。對(duì)于需要快速感知對(duì)端失效的長(zhǎng)連接如數(shù)據(jù)庫(kù)連接池可調(diào)小如 3005分鐘。參數(shù)設(shè)置方法臨時(shí)生效sudo sysctl -w net.ipv4.tcp_fin_timeout30 sudo sysctl -w net.ipv4.tcp_tw_reuse1參數(shù)設(shè)置方法永久生效 編輯/etc/sysctl.conf文件添加或修改對(duì)應(yīng)行然后執(zhí)行sudo sysctl -p使其生效。6. 總結(jié)與擴(kuò)展學(xué)習(xí)路徑TCP 狀態(tài)機(jī)是理解網(wǎng)絡(luò)連接行為的核心模型。從LISTEN到CLOSED的每一個(gè)狀態(tài)都是內(nèi)核協(xié)議棧、應(yīng)用程序代碼和網(wǎng)絡(luò)環(huán)境共同作用的結(jié)果。排查網(wǎng)絡(luò)連接問題時(shí)應(yīng)養(yǎng)成首先使用ss或netstat觀察連接狀態(tài)的習(xí)慣并根據(jù)狀態(tài)機(jī)推斷問題發(fā)生在哪一環(huán)節(jié)。核心排查心智模型CLOSE_WAIT多-檢查本端應(yīng)用程序的 socket 關(guān)閉邏輯。TIME_WAIT多-區(qū)分角色。如果是服務(wù)器產(chǎn)生考慮啟用 Keep-Alive如果是客戶端產(chǎn)生考慮開啟tcp_tw_reuse。先評(píng)估是否真的成為瓶頸。FIN_WAIT_2多-檢查對(duì)端應(yīng)用程序是否卡在CLOSE_WAIT。SYN_RECV多- 檢查是否遭受 SYN Flood 攻擊或backlog參數(shù)是否設(shè)置過小。連接建立失敗- 檢查SYN_SENT狀態(tài)排查網(wǎng)絡(luò)連通性、防火墻、服務(wù)是否監(jiān)聽。擴(kuò)展學(xué)習(xí)深入內(nèi)核閱讀 Linux 內(nèi)核源碼net/ipv4/tcp.c和net/ipv4/tcp_input.c跟蹤tcp_rcv_state_process函數(shù)這是驅(qū)動(dòng)狀態(tài)機(jī)的主函數(shù)。網(wǎng)絡(luò)抓包使用tcpdump或 Wireshark 抓取三次握手和四次揮手的完整報(bào)文序列與ss觀察到的狀態(tài)變化進(jìn)行對(duì)照這是最直觀的學(xué)習(xí)方式。性能分析學(xué)習(xí)使用systemtap,perf或bpftrace等工具動(dòng)態(tài)跟蹤內(nèi)核 TCP 函數(shù)的調(diào)用分析狀態(tài)轉(zhuǎn)換的性能開銷。協(xié)議進(jìn)階研究 TCP 快速打開TFO、TCP 延遲確認(rèn)Delayed ACK等特性如何影響狀態(tài)機(jī)的轉(zhuǎn)換時(shí)機(jī)。最終將狀態(tài)機(jī)的理論知識(shí)與具體的命令輸出、內(nèi)核參數(shù)和應(yīng)用程序代碼相結(jié)合你就能在面對(duì)復(fù)雜的網(wǎng)絡(luò)連接問題時(shí)擁有清晰的排查思路和有效的解決手段。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
影视综合无码少妇| 午夜福利视频在线一区| 99久视频| 亚洲精品黑丝| 97超碰超| 久午视频| 中文字幕在线免费观看 | 91n处女在线观看| 亚洲网站一区二区在线| 久久东京国产精品视频| 久久神马影院| 成人线上超碰| 亚洲有码 欧美精品| 超碰久草| 能在线播放的国产三级| 老熟女91av| 高清无码91| 一级日本牲交大片好爽在线看| 五月香婷婷| 91国产在线精品| 色天使亚洲综合在线观看| 混色激情av| 99re视频在线播放青草| 东北熟女91| 日本操逼视频导航| 狠狠色一区二区中文字幕| 熟女人妻一区二区三区免费看 | 国产 无码 一区二区| 亚洲色图20p| 伊人麻豆传媒| AV中文在线| 麻豆人妻偷人精品无码视频| 岛国福利在线精品播放| 欧美在线伊人色| 91综合网在线| 婷婷99| 亚洲少妇免费视频\| 久久精品91| 人人操人人插 - 百度 - 百度| 九九热免费视频| 伊人欧美大香蕉视频| 国产亚洲精品av一区| 性色国产东北露脸精品视频| 91视频伊人| 啊啊啊啊啊在线观看网址 | 日韩三A大片在线观看 | 久久三| 热久久99999| 2024黄色视频| 九久9热| 婷婷色综合欧美日韩| 99国内精品| 亚洲影院小综合| 91熟女在线| 五月天激情四射| 少妇精品久久久八区九区| 国产一区二区三区视频在线看| 91久久伊人婷婷青青草| 日本欧美一区二区三区视频麻豆| 欧美中文字幕一区| 亚洲天堂在线怕怕视频| 天天干天天中出av| 国产亚州精品美女久久久免费| 超碰97久久国| 色噜噜精品一区二区三| 精品丰满熟妇人妻一区| 婷婷亚洲色| 国产精品欧美在线观看| 人人色97| 日韩免费在线视频观看| 久久久久元码视频| 人人透人人操| 伊人青青一区成人视频在线观看区| 日韩在线观看三级电影| 色爱欲亚洲| 国产精品直播在线观看直播| 亚州色图狠狠干| 日本操逼视频不卡直接放| 330Dv国产女人终合视频极品人与兽| 无码动漫av中文字幕| 在线 亚洲 网爆 自拍| 国产高清视频无码在线| 夜夜爽妓女| 日本一卡二区在线| 99视频这有这里有精品| 超碰av人人人| 国产诱惑| 大伊香蕉在线视频免费| 91中出在线| 物业黑人 AV一区| 香蕉久久AⅤ...| 欧美一级专区免费大片| 欧亚乱色熟女一区二区| 乳欲人妻办公室奶水| 伊人丁香五月婷婷| 日韩精品99999| 在线免费试看60秒| 69久久久久久久久久久久久| 大香蕉520| 中文字幕 国产区| 日日干日日操五月天伦理视频| 色哟哟-国产专区| 日韩精品高清资源在线| 乳欲人妻办公室奶水| 青娱乐av在线| 九色精品视频导航1| 精品久操| 蜜臀人妻少妇久久在线观看| 99在线无码精品秘 入口黑人| 亚洲伊人青青草| 久久五十路熟女人妻| 爱丝福利| 日韩人体偷拍| 亚洲成人ab| 亚洲图片婷婷五月天| AV中文字幕剧情1区2区3| 92午夜免费福利视频| 91丝袜| 99九九久久| 激情五月天丁香社区| 丰满人妻一区二区三区| 少妇内射www在线观看视频| 国产免费一区在线观看| 日韩啊V| 校园春色宗合网| 噜噜在线| 国内亚洲精彩视频在线| 不卡日本一区二区| 丁香五月综合| 久久久99免费| 日夜精品| 人妻蜜桃臀| 欧美日韩夜夜| 亚洲图片偷拍视频区| 97干色| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 国产人伦a片信息免费片| 在线二区不卡| 欧美夜色| 日韩有码 一区二区三区| 久久这里| 青青草中文-久久青草精品一区二区三| 欧美日韩大黄片| 久久婷婷一区| 青青草啪啪网| 亚洲激情av| 亚洲春色一区二区三区| 白嫩91在线亚洲| 亚洲美女精品| 免费黄色A片| 亚州熟女乱伦| 欧美综合传媒| 欧美久久婷| 激情五月天丁香社区| 色麻豆AV| 国产精品女同| 大香蕉丝袜一级片| 国产成人午夜视频网址| 久操免费在线| 久久精品一区二区三区蜜桃臀| 五月婷婷六月激情| 99热99在线播放激情| 天天cao在线| 风骚少妇视频中文字幕| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 性感女人网页在线观看视频| 玖玖综合网| 伊人四虎综合| 亚洲高清无码免费观看视频| 高凊专区人人操| 97超碰中文字幕| 日韩偷拍色图| 亚欧性爱在线无码| 国产精品熟女九色九色蜜臀| 啊啊啊好多水| 国产人妻久久精品一区二区三区| 色九九综合AV| 男插女青青影院| 天天影视网综合少妇| 国产69精品久久久久99尤物| 久久久久亚洲熟妇熟女| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 深夜视频| 麻豆天天躁天天揉揉AV| 制服丝袜第二页| 99www.bibizy香蕉资源国产一区二区三区高清 | 一本色道久久天天射天天干| 日本色日夜干| 97超碰伊人| 天天拍天| 日韩啪啪啪视频| 国产精品乱人伊人网| 激情丁香婷婷| 综合色99| 91|九色|国产熟女| 亚洲色诱惑| 在线国产福利网址导航| 很黄很色的视频在线观看| 久久久久久99AV无码免费网站| 国产精品久久久亚洲第一牛牛_在线观看 | 欧美丝袜美女电影一二三四区| 欧美狠狠弄| 好吊色在线观看| 超碰碰碰碰| 日韩成人大片在线观看| www九九热| 在线啊v一区| 日本精品高清一二区一本到| 成年人性爱日韩| 少妇无码av专区线| 天天躁日日躁AAAAXXXX国产| 奇米四色网| 被窝影院午夜看片无码| 被窝影院午夜看片无码| 日韩啊V| 欧美色图20p| 伊香蕉综合久久久久久久噜噜噜| 91精品导航| 五月丁香六月综合缴清无码| 91色插| 99视频精品| 岛国艾薇凹凸视频天堂| 欧美亚洲另类在线蜜桃| 日韩视频啪啪| 成人免费在线网站| 国产视频不卡在线观看| 亚卅熟女乱色| 97碰在线视频| 欧美|91色综合| 九九这里只有精品| 日韩欧美麻豆大片| 国产乱婷婷精品二区三区| 91精品国产综合久久久蜜臀| 丝袜熟女2P| www鬼畜国产男人的天堂| 夜夜中出国产| 色婷婷蜜臀av| 99久热精品99re6热| 97精品国产精品免费观看| 亚洲爱爱视频一区二区| 999熟女精品| 男人的天堂三级| 97超碰超| 日韩视频中文字幕| 一区二区免费电影久久| 亚洲成人免费中文字幕| 亚洲强奸乱伦影视网| 日韩黄色成人性爱| 伊人久久AV诱惑悠悠| 中文字幕中文字幕一区二区| 色网在线视频观看免费| 国产乱人伦AVA麻豆软件.| 福利在线观看一区二区| 久久九九综合| 国产亚洲 中文欧美久久| 天美国产三级传媒| 欧美色图私拍91| 欧日韩在线观看| 玖玖爱伊人玖玖爱| 亚洲性天堂| V A在线| 国产福利电影| 日本午夜操逼| 久久久激情| 91蜜臀在线久久久久| 天天碰操中国年青熟妇| 男人 天堂 日 亚洲| 国外91| 日韩射图| 黑人娇小av在线播放| 中文字幕欧美精品亚洲日韩蜜臀| 一级@啪啪视频| 一区二区三区 日韩欧美| 717影院理论午夜伦八戒| 视频一区二区三区精品| 中文字幕二区日韩天堂| 7月婷婷综合| 色综合20p| 台湾佬大香蕉| 欧洲亚洲国产综合在线| 国产欧美亚洲精品a第2页| 亚洲综合小说另类图欧美视频激情小说色五月天 | 啊啊啊想要| 三级AV入口| 超碰成人国产| 成年男人的天堂| 成人天天爽| 久久精品国产亚洲av水密被窝| 黄片视频观看| 大色综合网| 亚洲精品国产精品成人| 嗯啊抽插大香蕉网页| 97久久视频| 中文字日本乱码| 91插B网站| 啊啊啊在线观看| 97人人操人人摸人人爱| 蜜桃色色网站视频三区| 日日噜噜夜夜久久亚洲一区二区| 国产精品一区二区三区四区五区| 看免费的黄片| 欧美精品日韩久久久九| 伊人玖玖网| www.伪伪| 91色图| 青操影院| 亚洲超碰97| 十八禁av无码免费网站APP| 亚洲福利中文字幕在线| 99啪啪视频| www.成人无码| 日韩成人在线性爱视频| 99免费视频| 色偷综合| 免费AV中文网在线观看| 熟女乱伦二区| 欧美亚洲激情一二三| 中文字幕欧美丝袜07资源| 婷婷五月天激情网| 国产传媒美日韩av| 国产精品网址| 中国熟女网站| 青青草久久一区网| 就去色综合| 精品国产乱码| 男人亚洲91首页在线| 99国内熟女露脸视频| 热99这里有精品综合久久 | 91综合网站| 成人av影院在线观看| 欧美亚洲综合色| 国产精品久久久久久久久久二区三区| 伊人一区二区在线播放| 国产人妻精品久久久一区二区三区 | 日本人人操人人操| 性爱AV天堂| 久久97超碰| 亚洲精品成人激情在线| 五月开心久久AV官网| 国产区日韩区在线观看| 91一区二区| 9997se| 欧美亚洲一级在线观看| AV中文在线可看| K8久久久久| 精品亚洲黄色片 国产精品导航一区二区 | 久草毛片| 日韩 欧美 另类 人妻| 精品免费1| JuliaAnn丝袜熟女系列| 色色99| 好一吊区二区| 7777欧美成是人在线观看| 日日做夜狠狠爱欧美黑人| 免费无码婬片AAAA片直播色戒| 一区二区三区四区色图| 一本色道熟妇| 337p大胆噜噜噜噜噜91Av| 狠操91,com| 日韩欧美大力操| 亚洲不卡av在线| 亚洲天天操| 激情五月激情综合网| 超碰色大香蕉| 囯产操逼片| 不卡一区视频| 天天艹天天日| 伊人操操| 成年人三级黄色片视频| 欧美国产成人在线| ..日韩av毛片精品久久久| 国产精品网站免费| 久久性爱精品一区| 精品久久九| 欧美日韩激情无码专区| 999九九精品| 亚洲最大成人a毛毛片| 亚洲色香| 精品人妻一区二区视频| 久久99草| 91小视频| 国产后入清纯| 天天干天天操天天干天天操| 99re在线视频这里只有精品| 亚洲精品人妻吞精av| 黑人综合色| 国产 丝袜 欧美中文 另类| 蜜桃狠狠色伊人亚洲综合 | 91成人久久| 亚洲日本天堂| 久久精品店| 久久久久久免费电影| 欧洲一级性爱视频在线观看| 久久6热精品99视频| 日韩欧美中文日韩欧美色| 大香蕉琪琪日本女优不卡| 综合操逼| 91操熟妇| 2020中文字幕| 2019精品国产无码成人| 四虎在线播放| 亚洲免费人妻在| 亚洲情色 自拍| 日韩人妻一区二区精品| 人妻丝袜日本| 蜜桃臀 后入 一区 二区 三区 在线| 欧美精品精品一区二区| 热久久91婷婷| 国产日韩欧美操逼视频| 99999这里都精品| 国模吧 一区二区三区| 97色欧洲| 综合网欧美在线| 97在线观看免费视频| 国产自产91区13区| 在线观看无码三级少妇| 精品国产72| 凹凸久久人人| 婷婷性网| 97色冈| 人妻偷拍一区二区三区| 941超碰| 97人人干| 亚洲av综合伊人久久| 婷婷另类小说| 秋霞一级视频在线观看免费| 精品九九九九九| 欧美日韩精品国产91| 欧美专区日本专区| 欧美牲| 99蜜桃臀亚洲成人在线观看| 99精品成人免费看| 黑人娇小av在线播放| 大香蕉宅男伊人| 日韩人妻一区二区精品| 亚洲色天| 91男人天堂网| 亚洲少妇色| 成人a级高清视频在线观看| 亚州黄站| 97久久精品国产| 精品一区二区人妖| 亚洲资源站| 操死我了嗯嗯嗯| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 婷婷啪啪| 操婢日韩| 国产综合久| 亚洲码和欧洲精品激情系列| www.av在线观看| 无码国产精品96久久久久孕妇| 乱欲性色| 九九综合| 国产第25页在线观看| 国产久久久久久| 亚州熟妇精品| 青青草密桃在线播放| AA特级绝黄| 女色综合| 淫穴高潮色图| 美女的肌被草喷水视频| 欧美精品999| 国产精品探花色| 男女啊啊啊啊啊| 久久蜜色情在线视频xxx免费观看| 99精品在线| 国产91精品在线免费| 国产高清视频无码在线| 99九九久久| 日韩精品人妻中文字幕不卡乱码| 日本国产成人亚洲精品无码| 精品国产国产AV| 97av在线视频| 欧美日韩国产三级黄色| 97 超碰 人人做 人人爱| 超碰97最新人妻| 东京热男人天堂| 欧美在线播放aaaa| 国产拍偷精品网站| 久久精品一区二区| 日日做夜狠狠爱欧美黑人| 小少妇| 中国乱伦一区二区| 边做饭边操逼逼| 欧美亚洲今日在线| 亚洲国产蜜臀系列在线观看| 97中文天堂| 久久精品美女一区| 亚洲国产97在线精品一区| 超碰99热中文字幕| 91neishe| 天天操天天舔| 欧美亚洲色图另类国产| 国产操逼网站亚洲一级黄色| 精品免费囯产一区二区三区 | 久久九九99| 丰满人妻无码一区二区三区| 国产精品黑人一区二区三区| 天天色欧美| 中文字幕福利视频一区二区三区在线观看| 国产视频第2页| 久久视网78| 国产农村妇女一区二区| 亚洲精品视频在线播放| 大香蕉免费乱伦视频| 日本操逼视频不卡直接放| 伦理第一页| 玖玖资源视频一区二区三区| 中国黄色特级精品一区二区三区片| 欧美性后入| 91久青| 久久久爆乳翘臀一线天伦理视频| 亚洲欧洲综合视频在线| 图片区小说区| AV无码久久久精品| 操逼片中文| 51久久夜色精品国产麻豆| 男人天堂网站| 超碰97网站| 九九九九AV| 亚洲AV色图| 久久久免费高清中文视频| 欧美黑人日韩少妇色情| 亚洲综合激情五月久久| 第一高清av中文字幕| 中文字幕123| 日韩乱伦影音先锋| 午夜精品五区| 国产无马视频| 人人干人人操人人..com| 亚欧无码在线| 国产午夜无码片在线观看影视| 强奸乱伦大香蕉| 午夜福利激情在线视频| 永久免费av无码网站国产app| V A在线| 一起草三级AV电影在线观看| 在线观看免费视频国产| 欧美96在线|欧| 嗯嗯啊啊好疼| 超碰碰激情97+久| 欧美日韩一干二干| 成熟熟女国产精品一区二区| 精品一区二区久久| 免看60秒涩涩视频| 天天影视网综合少妇| 蜜桃视频精品一区二区| 欧美性猛交美女自慰91| 久久精品视频久久久| www.色婷婷.com| 一色网男人的天堂| AV一二区| 麻豆伊人网| 97频视在线| 啊啊啊啊好大好硬啊啊啊啊啊 | 久草精品国产99| 欧美一级AAAAAAA| 成在线人在线观看视频| 国产JDAV无码视频在线观看| 成人无码在线超碰网| 国产美女在线精品免费看| 美女操逼A A| 精品高清一区二区三区三州| 成年人性爱日韩| 手机看片1024你懂的国产| 国产伦精品一区二区三区在线观| 男人天堂一区二区| 大香蕉综合| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 狠狠操官网| 人摸人人操人| 97在线精品| 午夜精品99久久久久传媒| 中美日韩毛片| 美女91色黄18| 91天堂| 天天天干977| 日本中文字幕高跟| 东京热熟女亚洲视频网站| 色情婷婷久久五月天| 97久操| 色激情综合网站| 影音先锋日本乱伦| 免费一级欧美片片线观看| 丝袜六区| 麻豆一区二区三区精品| 热热色青青草| 最新日本中文字幕| 色色色欧美| 五月天综合| 久久天天躁日日躁狠狠躁| 久九9精品| 青青草色AV| 国产真实子伦对白| 狠狠色噜噜狠狠狠狠狠色综合久久 | 国产精品一区在线播放| 无遮挡男女激烈动态图| 成年人性爱日韩| 日本熟妇浓毛hdsex| 成人一级性爱| 综合激情五月天| 青青草手机在线免费观看| 999久久芭蕾| 网友自拍第一页| 欧美经典一区二区三区| 夜夜嗨一区二区| 97伪v| 亚洲精品欧洲色| 在线观看无码三级少妇| 99这里有精品视频| 蜜臀AV成人精品蜜臀| 9精品久久久久| 黄视频免费| 激情视频网址| 伊人青青草久久| 精品人妻一区二区三区不卡断| 中文字幕美女91| 99九九精品| 搞中出视频在线观看| 日韩精品人妻| 在线人人人人人人精品超| 18啪啪手机免费性爱| 五月天婷婷综合网| 插入粉嫩少妇视频| 欧美一二三| 人人干人人搞人人摸| 人妻夜夜爽天天爽麻豆三区网站 | 91露脸熟女专区| 亚洲欧洲另类| 97超碰免费生活| 天天噜| 最近的最新的中文字幕视频| A啊啊在线观看| 欧美在线电影| 欧美丝袜制服久久| AV高清一区| 唯美清纯 妖精视频| 日韩激情啪啪啪| 欧美久久草熟女| 精品国产乱码久久久久久免费| 人妻一区二区三区视频| 又黄又爽在线观看视频| 中文字幕一品色图| 91人妻最真实刺激绿帽| 欧美专区第一页| 97色欧洲| 亚洲综合精品国产一区| 夜夜狠狠躁日日躁色视频| 国产精品视频在线观看| 婷婷色影院| 五十路人妻在线| 色婷婷六月丁香七月婷婷| 日韩AV一区二区三区四四| 91综合天天看| 免费作爱一级视频| 嗯嗯啊好大| 国产精品懂色tv影视免费观看| 99色视频| 超碰色美女| 日本www操操操| 久久久久网站-538在线视频-欧美永久乱码| 美女被啪到深处抽搐视频| 深爱五月婷婷| 日1区2区3区2020| 免费中文在线| 91黑丝操| 国产精品露脸在线观看| 男人干美女| 亚洲无码精品AV久久久| 91操碰| 狠久久| 国产亚洲在线观看| 后入式福利| 国产成人综合在线播放| 影音先锋一区二区在线资源| 黄色无码高清黄色无码网站| 中文字幕一区 二区三四五 区日 日骚| 国产区在线| a在线观看| 日本在线15p| 国产成人自拍视频在线| 亚洲欧美啪啪| 久久性爱大全| 蜜臀99久久精品久久久久久| 国产超碰| 好湿好紧视频| 国产传媒日韩| 国产精品毛片?v一区二区三区 | 人人人摸人人| 色女综合| 精品人妻伦一区二区三区久久| 大逼色网站| 日小BB小视频| 色婷婷五月天| 东京热熟女亚洲视频网站| 亚洲一区二区AV| 超97在线精品视频| 丁香五月婷婷色| 亚欧美综合网。| 亚洲色图91| 日本在线不卡v二区| 人妻日日夜夜精品| 精品无码产区一区二| 麻豆国产97在线| 国模精品一区二区三区苹果色戒 | hd成人一区二区在线| 夜夜夜久久| 亚洲AV不卡在线观看| 伊人一级免费黄片| 99热综合| 日本不卡二三区| 啪啪自拍九九综合| 欧美日韩性爱无码| 亚洲第一页欧美| 九热久| 美女国产一区二区久久| 久久综合中文国产| 91成人无码| 抽插无码高清一区| 亚洲色图综合网| 乱性AV| 婷婷丁香久久| 欧美日韩人妻少妇 一区二区三区| 国产乱伦视频污| 婷婷五月成人| 久久精品人妻一区二区三区| 翔田千里AⅤHD无码| 久久综合18p| 日韩久射综合| 爆操无码| 亚洲91大片| 国产强奸无码乱伦| 五月天激情国产综合婷婷婷| 天天综合网合集91| 女同女同恋久久级三级| 伊人大香蕉在线| 欧综合网| 99人人干| 99福利社| 强奸乱伦Av网| 日本精品性生活久久久| 超碰在线人妻中文字幕| 国模限制级电影| 97亚洲在线| 久久99视频| 成人夜夜| 3p国产色噜噜一区| 亚洲性图91| 人人干黄色| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 综合欧美日本三级| 少妇人妻激情四射| a片偷拍视频| 大香蕉欧美伊| 精品人妻视频入口| 日本三级人妻a人妻一在线| 射久久| 国产亚洲人妻综合日韩 久久| 国产乱不卡| 中文字幕日韩人妻视频一区二区三区| www.高清无码诱惑一区.com | 青青草中文-久久青草精品一区二区三| 啊啊啊啊,啊啊好多水| 人妻系列无码专区中文有码| 91激情网| 国产精品美女在线一区| 好屌色综合| 九色精品视频导航1| 日韩人妻精品中文字幕| 伊人久久在线视频观看| 99亚洲人人| 岛国大片国产| 欧洲亚洲人妻无码中字久久三区四区| 日韩字幕一区| 欧美另类自拍 | 五月丁香综合| 久久久久久久| 激情自拍 校园春色| 色欧美在线| 青青草日韩无码| 好爽视频在线观看视频| 欧洲综合视频| 欧美男人天堂| 青青色综合| 91精品久久久| 欧美A√综合网 | 99热亚洲| 精品国产乱码久久久| 99国产人成精品| 亚洲欧美日韩偷拍色图| 黄色小说亚洲| av在线观看不卡网站| 91欧美美女日韩国产婷婷| 亚洲阿v天堂无码z2018| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 大香蕉狠狠爱| 丁香五月激情综合| 亚洲在线网站| 欧美成人色| 99热在线观看| 久久精品国产99久久,亚洲日韩久久日本一区一区三区 | 狠狠操官网| 丝袜视频一区二区在线播放国产中文| 精品久久久久久中文| 熟女熟妇一区二区三区视频| 成人 日韩欧美一区| 亚洲高清视频在线免费观看| 欧洲精品一区二区三区| 欧美顶级黄片AAAAA在线免费看| 好涩综合| 日韩少妇丰满亚洲| 欧美激情另类一区二区| 久久一二三四五六七八九区| 人妻丝袜无 码视频专区| 欧美巨大性舒爽顶到了| 麻豆一区在线| av资源在线观看少妇| 老熟女网站| 欧美精品久久96人妻无码| 肉嘟嘟www视频在线观看高清| 人妻第一页| 操学生天天| www欧美91| 黑人中出21连凳花野真衣| 国产精品一级特黄aaa大片在线观看| 中日韩久久久免费看| 91人妻超碰| 日韩无码黄色片| 色五月av| 中文字幕十五区| 99色综合| 日韩无码三级影院| 欧美色道啊| 国产日产精品久久快鸭的功能介绍| 91 国产丝袜在线播放-百度| 中文字幕 人妻不满 在线视频| 国产成人亚洲精品无码最新在线| 欧美亚洲高清不卡| 99热91| 国产毛片毛片4p懂色| 久久噜| 熟妇人妻精品一区二区视频色欲| 无码人妻精品一区二区三区99不卡 | 小少妇| 高清国产性猛交xxxx乱大交| 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | 啊啊啊好湿国产一二| 99久久久久久久久| 精品人妻一区二区三区四区石在线| 91美女视频电影| 九九热免费国产视频婷婷伊人五月| 国产操操日韩三级黄| 91黄射| 久久中出在线| 玖玖色综合| 中日亚韩免费视频| 91老女人| 91成人亚洲色图| 东京成人一区| 精品视频久久久久九九九九9999 | 丰满人妻一区二区三区在线| 你懂得91| 国产绿奴视频在线观看| 97在线看| 中出20p| 18禁久极品美女久久哦哟呀!| 人妻加勒比东京热| 欧美性爱十八禁| 国产精品免费久久久久久久久久| 九99久久| 18岁禁 茉莉成人久久| 亚洲欧美精品91| 日本人妻中文字幕精品| 亚洲97超碰| 久热这里| 久久久国产精品亚洲精品| 大香蕉 222| 色婷婷丁香五月| 美女操逼福利视频| 亚洲无码精品AV久久久| 久九色| 九九九偷拍| 超碰免费欧美7| 青青草视频爽一爽| 五月丁香影院| 日本黄 R色 成 人网站| 欧美操逼熟女| A级毛片在线看免费| 曰韩中文人妻视频| 日本精品一区二区不卡| 色777999综合| 中文字幕人乱码中文字的预防方法 | 国产精品ⅴ无码大片在线看.| 亚洲欧美首页| 91情色在线| 97超碰欧美手机在线| 91超碰碰在线| 五月天伊人| 无码heyzo高清一区| 99热精品在线观看| 亚洲成av人片色午夜乱码| 333kkkk·亚洲com久久| 久久这里是精品| 黄片qw| WWW操逼| 亚洲成人黄色在线观看| 91狠狠综合| 熟妇女伦乱视频| 亚洲骚逼少妇| 嗯嗯不要 视频| 青青草中日韩在线| 99热国产精品| 中文无线日韩一区| 精品一区99999| 国产精品乱码久久久久久| 欧美大战久久久伊人| 天美传媒AV国产在线| 厕所偷拍在线| 丝袜内射| 欧美激情 日韩精品| 69精品人人人人| 99re只有精品| 中国黑人三级片网站上区| 丰满翘臀美女影院视频| 蜜臀在线免费观看在线免费观看| 久久9亚洲| 69人妻人人揉人人躁人人精品| 久久婷婷一区二| 日韩三四五区| 东北黄色电影| 欧美色九九九| AV天堂男人的天堂| 青青草啪啪网| 老女人91| 黄站在线免费观看| KK色在线影院| 超碰97首页| 色香综合天天影视综合 | 综合欧美日本三级| 亚洲各类熟们中文字幕| 色人久久| 首页亚洲国产高跟丝袜诱惑视频 | 性色av蜜臀av色欲aV| 国产人妖视频一区在线观看| 日韩国产成人自拍视频| 国产日本久久免费精品| 91九色首页| AV天堂丝袜| 开心六月色| 久久超碰、| 国产情色在线| 88在线一区二区三区| 91性网| 精品欧美老熟女一二区| 亚洲欧洲中文日韩女优乱码| 国产精品久久久久久照片| 每日更新AV| 67194国产| 日韩伦理久 久久 清纯| 青青草色情网站视频| 天天躁狠狠躁av| 日本ZZ高免费A级视频| 国产精品白丝| 翔田千里AⅤHD无码| 自拍偷拍 日韩无码| 五月丁香色情| 国产suv精品一区二区四| 91九九九小逼| 欧美激情精品久久久| 欧美亚洲今日在线| 少妇久久久久久| 手机在线A片| 成人AV在线电影| 岛国小电影| 一区二区三区色综合| 午夜噜噜噜| 999久久久免费精品国产牛牛| 天天操夜夜嗨| 91狠狠综合久久久久久| 91视频观看网站| 日本不卡一区二区三区| 欧美精品庄| 91精品微拍福利| 9999久久久久| 欧美一区二区传媒| 91中文字幕在线观看| 中文字幕97| 91快色色色色色| 久久久久久午夜男人的天堂| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 少妇内射www在线观看视频| 精彩久久中文| 欧美色女人| 欧美性爱三区二区| 国产suv精品一区二区四| 欧美综合网1| 97超碰色色| 女人 A一级| 91在线页| 精品中文一区二区| 亚洲成人激情小说视频| 日本性爱少妇| 91丝袜美腿网站| 超碰综合97在线| 91精品无码久久久久久久| 在线观看黄色电话| 久久精品视频28| 夜夜欧美| 国产三区免费在线观看| 久久久久国产亚洲一区欧美色图日韩| 亚洲熟妇综合久久久久久| 97在线观看| 97任你吞精| 亚洲第一页欧美| 亚洲a色| 91艹B视频| www.四虎在线| 国产97/欧美| 草草影院最新网址| 中文字幕一区二区三区视频播放| 国产又大又粗又长视频在线| a啊啊啊啊啊啊啊啊一区二区| 亚洲囯产精品女人久久久| 综合网欧美在线| 男人天堂网手机版婷婷| 人人操人人干xxx| 丁香五月天堂网| 亚洲高清少妇| 91欧美在线| 国产成人自拍视频在线| 国产25页| 久久这里只精品| 日韩A优精品在线观看| 97九色人妻| 国产久9| AV天堂国产| 五月天激情小说网| 另类 综合 日韩 欧美 亚洲| 少妇久久久久久久| av资源在线播放天堂| 人妻人妻天天碰| 欧美日韩另类在线播放| 极品丝袜无码| 日韩在线电影| 国产一区二区视频在线播放| 亚洲情色在线| 人人人干干人人干| 男人的天堂啪啪啪啪啪蜜桃不卡| 少妇专区一二三四五| 国产精品福利视频播放| 九月丁香婷婷| 爱爱啊啊啊| 天天爽夜夜操| 蜜汁欧美| 亚洲最大的综合性av| 99色骚| 久操91视频| 男女打扑克高清网站| 中文字幕成人乱码熟女精品国50| 黄色性爱网网| 午夜综合在线| 尤物黄色在线观看网站| 亚洲综合影视| 久久97| 中文字幕 av v| 亚州男人天堂| 夜夜嗨一区二区| 精品1区2区3区| www久久99| 黑人精品欧美一区二区蜜桃| 强奸乱伦日韩AV| 人人妻天天做天天爽| 青青久久手机线视频| 91爱做| 男人天堂黄片| 黄色不卡视频| 亚洲成aⅴ人片不卡无码| 久久亚洲天天做| 日韩欧美加勒比| 尻女朋友一夜| 美女啊啊啊啊啊| 嗯啊不要在线| 国产97在线 | 亚洲| 天天爱天天韩国日本牛牛牛牛| 日本欧美不卡| 乱精品一区字幕二区| 九九热九九| 九九伊人网| 伊人网高清| 精品女人999| 2019天天干| 日本三级小说中文字幕| 亚洲伊人久久综合97| 亚洲91网。| 日本韩国国产精品一区| 久久曰曰| 天天看天天在线精品| 天天躁夜夜躁狠狠躁AV| www色日本| 强乱老妇中文字幕| 中文字幕 人妻不满 在线视频| 人妻丝袜一区二区三区在线| 欧美性特| 中日韓欧美高清| 亚洲AV资源| 中文字幕人妻资源在线| 青青国产在线拍揄自揄拍| 岛国激情视频软件| 偷拍片久久| 另类专区在线观看| 成人情色综合网| 亚洲男人bt天堂| 亚洲情色 欧美| 国产精品 亚洲情色| 情趣丝袜无码操逼视频| 天堂资源站| 亚洲精品国产精品乱码不99| 男人天堂无码| 人人乐大香蕉| 日本精品中文字幕视频| 91/欧美| 国产精点久久久成人| 欧色网址| xxx亚洲午夜天堂| 人人操人人干xxx| 走光一区92下载| 久久亚洲av成人无码国产| 日韩大香蕉| 妇人噜噜| 熟女人妻一区二区三区| 欧美 亚洲| 人妻在线臀日韩| 久久av一级av少妇av高潮| 91色插| 欧美性生活综合| 综合网 欧美| AND人妻系列| 亚洲精品影视老司机| 欧美亚洲韩国视频十五区| 9/A片| 18禁免费视频| 欧美东京热青青草| 久久超碰、| 偷窥自拍亚洲天堂网爆| 好色综合| 国产第二页| 久久思思热| av网站免费看| 中文字幕人乱码中文字的预防方法 | 日本三级中国三级99人妇网站| 91视频在线观看18| 蜜臀色乳| 超碰在线91| 无码丰满熟妇一区二区浪潮AV| 日1区2区3区2020| 东北女人的毛片| 欧美疯狂做爰xxxx| 婷婷av在线中文字幕| 激情视频图片| 天堂资源欧美|