絡(luò)排查從入門到實(shí)戰(zhàn)：協(xié)議棧、路由、防火墻與NAT全解析)
Linux下的網(wǎng)絡(luò)基礎(chǔ)說真的屬于那種你覺得自己會(huì)了但一到生產(chǎn)環(huán)境就露怯的主題。干運(yùn)維這些年我最大的體會(huì)是網(wǎng)絡(luò)不通的根因絕大多數(shù)不是命令不夠炫而是沒把底層的數(shù)據(jù)流轉(zhuǎn)、協(xié)議分層、路由決策這些基本功串起來。這篇文章不談那些花哨的框架就老老實(shí)實(shí)把這些基礎(chǔ)鋪開從內(nèi)核收包到ip命令從配置文件到防火墻NAT再到真實(shí)排障時(shí)該怎么一步步追問題。適合剛接觸Linux的開發(fā)者也適合已經(jīng)寫了一年腳本但遇到網(wǎng)絡(luò)問題就懵的系統(tǒng)管理員。保證你看完能少踩幾個(gè)我當(dāng)年踩過的坑。1. 先把Linux網(wǎng)絡(luò)這件事的輪廓描清楚1.1 一次收包請(qǐng)求在內(nèi)核里走了多遠(yuǎn)我記得第一次獨(dú)自排查服務(wù)器“網(wǎng)絡(luò)全部不通”時(shí)第一反應(yīng)是重啟網(wǎng)卡。后來問題依舊才知道自己連最基礎(chǔ)的數(shù)據(jù)包走向都模糊。理解Linux網(wǎng)絡(luò)基礎(chǔ)應(yīng)該從網(wǎng)卡收到數(shù)據(jù)的那一刻開始。當(dāng)網(wǎng)卡接收到一段電平信號(hào)先做CRC校驗(yàn)確認(rèn)幀沒壞再通過DMA直接寫進(jìn)內(nèi)存里的環(huán)形緩沖區(qū)這一步基本不消耗CPU。接著硬中斷觸發(fā)內(nèi)核會(huì)注冊(cè)一個(gè)軟中斷NET_RX_SOFTIRQ把數(shù)據(jù)包封裝成一個(gè)叫sk_buff的結(jié)構(gòu)體。這個(gè)結(jié)構(gòu)體是整個(gè)協(xié)議棧的“快遞包裹”從鏈路層一路傳到傳輸層都靠它。隨后包進(jìn)入?yún)f(xié)議棧鏈路層去掉以太網(wǎng)頭根據(jù)頭里的協(xié)議字段判斷是IPv40x0800、ARP0x0806還是IPv60x86DD。網(wǎng)絡(luò)層拿到IP頭后第一件事是查路由表搞清楚這個(gè)包是給本機(jī)的還是需要轉(zhuǎn)發(fā)出去的。如果是給本機(jī)的再根據(jù)TCP或UDP頭里的端口號(hào)去找對(duì)應(yīng)的socket最終放進(jìn)socket接收隊(duì)列應(yīng)用層通過read、epoll這些系統(tǒng)調(diào)用拿到數(shù)據(jù)。這趟鏈路聽起來不復(fù)雜但每一步都可能出問題。比如MTU不匹配導(dǎo)致包被分片或者被丟棄路由表策略不對(duì)導(dǎo)致包繞了遠(yuǎn)路socket接收隊(duì)列滿了導(dǎo)致內(nèi)核丟棄數(shù)據(jù)。如果你一上來就抓包看到現(xiàn)象卻解釋不了根因那大概率就是沒把這條鏈路吃透。1.2 分層的意義以及排障為什么容易錯(cuò)位TCP/IP模型分四層鏈路層、網(wǎng)絡(luò)層、傳輸層、應(yīng)用層。每層各司其職但排障時(shí)最容易犯的錯(cuò)是拿高層工具去測(cè)低層故障或者反過來。拿寄快遞打比方鏈路層是快遞貨車網(wǎng)絡(luò)層是分揀中心決定包裹去哪個(gè)城市傳輸層是快遞單號(hào)衣服柜子應(yīng)用層是收件人簽收。全鏈路暢通收件人才拿得到貨。網(wǎng)絡(luò)問題雖然表現(xiàn)為應(yīng)用層“連不上”根因卻可能出在任何一層。我見過不少人遇到“網(wǎng)絡(luò)不通”就拼命檢查業(yè)務(wù)端口結(jié)果真正原因是物理網(wǎng)線松了。更有意思的是反向場(chǎng)景ping通就以為網(wǎng)絡(luò)沒問題結(jié)果業(yè)務(wù)端口被防火墻擋在INPUT鏈上。分層思維的價(jià)值在于排障順序永遠(yuǎn)不會(huì)亂。先鏈路再IP再路由再傳輸再應(yīng)用。每層都有專屬工具和專屬查看命令后面幾節(jié)我會(huì)按這個(gè)順序展開。2. 用ip命令把網(wǎng)絡(luò)狀態(tài)摸透2.1 ip link先確認(rèn)接口活著而且狀態(tài)是UP現(xiàn)在很多Linux發(fā)行版仍然保留ifconfig命令但它早已不是主流。現(xiàn)代系統(tǒng)上ip命令是標(biāo)準(zhǔn)操作入口。排查第一步永遠(yuǎn)應(yīng)該先看接口狀態(tài)ip link show ip -s link show ens3第一條輸出能看到每個(gè)接口的名稱、MAC地址、狀態(tài)和MTU。尤其要關(guān)注state UP還是state DOWN。如果接口處于DOWNip addr里配置再漂亮的IP也是白搭。第二條加-s參數(shù)能看到收發(fā)統(tǒng)計(jì)。重點(diǎn)看errors、dropped、overruns這幾列。errors大幅上漲多半是物理層問題比如網(wǎng)線松動(dòng)、交換機(jī)端口協(xié)商異常。dropped上漲可能是接收緩沖區(qū)不夠或者防火墻策略丟包。overruns說明內(nèi)核處理不過來常見于小包沖擊或者CPU軟中斷被綁核。提到MTU很多人忽略。默認(rèn)1500字節(jié)在絕大多數(shù)場(chǎng)景沒問題但用VXLAN、隧道或者巨型幀環(huán)境就很容易出現(xiàn)黑洞。怎么驗(yàn)證MTU可以用帶DF標(biāo)志的pingping -M do -s 1472 192.0.2.1默認(rèn)ping payload是64字節(jié)以太網(wǎng)總幀大小大約1500所以payloadIP頭20ICMP頭81472剛好不超。如果這個(gè)能通說明網(wǎng)絡(luò)路徑支持1500MTU。如果再往上加字節(jié)ping不通那就是某個(gè)中間設(shè)備MTU太小并且ICMP不可達(dá)消息又被防火墻吞了。2.2 ip addrIP地址、CIDR和scope別只記命令接口正常后第二步檢查地址ip addr show ip addr add 192.0.2.10/24 dev ens3 ip addr del 192.0.2.10/24 dev ens3我一直強(qiáng)調(diào)要理解CIDR。/24不是隨便寫上去的它代表子網(wǎng)掩碼是255.255.255.0。192.0.2.10/24意味著網(wǎng)絡(luò)地址192.0.2.0廣播地址192.0.2.255有效可用主機(jī)地址是192.0.2.1到192.0.2.254?？吹健?24”如果不能立刻反應(yīng)出掩碼和廣播地址說明還需要補(bǔ)基礎(chǔ)。ip addr輸出里還有個(gè)容易被忽略的scope字段。常見的global表示這個(gè)地址對(duì)外可見host表示只屬于本機(jī)。比如lo接口上的127.0.0.1/8就是scope host。有些服務(wù)監(jiān)聽在127.0.0.1上外部永遠(yuǎn)無法訪問本質(zhì)就是地址scope限定的。檢查地址時(shí)還要警惕一個(gè)現(xiàn)象接口上有多個(gè)IP并不奇怪但同一個(gè)IP出現(xiàn)在兩個(gè)接口上會(huì)出事。Linux對(duì)地址沖突不是特別敏感兩個(gè)接口廣播同一個(gè)IP會(huì)導(dǎo)致后續(xù)收到數(shù)據(jù)的arp緩存來回跳。如果你發(fā)現(xiàn)ip addr里出現(xiàn)兩處相同地址這通常比防火墻問題更隱蔽也更致命。2.3 ip route路由表決定數(shù)據(jù)包去向默認(rèn)網(wǎng)關(guān)別亂配地址有了怎么知道數(shù)據(jù)包走哪個(gè)口出去看路由ip route show ip route add default via 192.0.2.1 dev ens3 ip route add 10.10.0.0/16 via 192.0.2.1 ip route del 10.10.0.0/16路由表的核心規(guī)則是“最長(zhǎng)前綴匹配”。比如有一條default路由也有一條10.10.0.0/16路由那么去10.10.1.5的數(shù)據(jù)包會(huì)選擇后面這條因?yàn)樗熬Y更長(zhǎng)、更精確。理解這個(gè)規(guī)則解決“為什么走了奇怪網(wǎng)關(guān)”就很容易。ip route show輸出里經(jīng)常有一行proto kernel scope link src 192.0.2.10這是內(nèi)核因?yàn)榻涌谂渲昧说刂范詣?dòng)生成的直連路由。它保證了同網(wǎng)段的包可以直接出去不需要網(wǎng)關(guān)。有些人手動(dòng)刪掉這類路由結(jié)果同網(wǎng)段通信立刻斷開就是這個(gè)原因。默認(rèn)網(wǎng)關(guān)配置也常見一個(gè)坑一個(gè)網(wǎng)卡配了多個(gè)IP或者系統(tǒng)有多個(gè)網(wǎng)卡如果把默認(rèn)網(wǎng)關(guān)指向一個(gè)并不存在的下一跳外部流量全都會(huì)消失。我習(xí)慣配置完地址后立刻ip route show確認(rèn)默認(rèn)路由的dev接口真的是通往外部的那張網(wǎng)卡。3. 從臨時(shí)配置到永久生效Linux網(wǎng)絡(luò)配置的三種姿勢(shì)3.1 NetworkManager與nmcli適合桌面也適合大部分云主機(jī)ip命令改的配置只對(duì)當(dāng)前運(yùn)行生效重啟后一切還原。要持久化繞不開網(wǎng)絡(luò)管理服務(wù)。目前最常見的管理者是NetworkManager。雖然很多人對(duì)它有成見但它對(duì)動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境處理確實(shí)好尤其適合云主機(jī)。常用命令nmcli device status nmcli connection show nmcli con mod ens3 ipv4.method manual ipv4.addresses 192.0.2.10/24 ipv4.gateway 192.0.2.1 nmcli con up ens3nmcli con mod不會(huì)立即生效需要up或者重啟網(wǎng)絡(luò)服務(wù)。這也經(jīng)常讓人誤會(huì)改了配置沒重啟查半天發(fā)現(xiàn)運(yùn)行時(shí)的配置還是舊的。NetworkManager強(qiáng)大的地方在于可以統(tǒng)一管理bond、vlan、bridge。比如多網(wǎng)卡綁定鏈路聚合用nmcli可以一步到位。如果只用腳本跪多個(gè)配置文件遇到bond或者vlan會(huì)非常痛苦。我碰到過生產(chǎn)環(huán)境為了做bond手寫了半天ifcfg文件最后發(fā)現(xiàn)NetworkManager根本不讀原因是沒有設(shè)置NM_CONTROLLEDyes。這類問題在純NetworkManager環(huán)境里反而不會(huì)發(fā)生。但NetworkManager也不是萬能。如果你是一個(gè)極簡(jiǎn)容器或者輕量虛擬機(jī)不需要復(fù)雜連接管理那么它反而是累贅。所以下面這個(gè)選擇很關(guān)鍵。3.2 systemd-networkd適合輕量服務(wù)器和容器場(chǎng)景凡是看NetworkManager不順眼的多半會(huì)喜歡systemd-networkd。它通過文本文件直接描述“哪個(gè)網(wǎng)卡用哪個(gè)地址”規(guī)則簡(jiǎn)單粗暴。靜態(tài)配置示例寫入/etc/systemd/network/10-static.network[Match] Nameens3 [Network] Address192.0.2.10/24 Gateway192.0.2.1 DNS1.1.1.1使用這個(gè)配置要先把NetworkManager停掉systemctl stop NetworkManager systemctl disable NetworkManager systemctl enable --now systemd-networkd注意/etc/systemd/network/下文件的命名順序系統(tǒng)按字典序加載文件名。如果兩個(gè)文件匹配同一網(wǎng)卡配置就可能相互覆蓋。養(yǎng)成以數(shù)字開頭命名的習(xí)慣比如10-ens3.network這樣優(yōu)先級(jí)一目了然。DHCP配置更簡(jiǎn)單[Match] Nameens3 [Network] DHCPyessystemd-networkd還有個(gè)好處沒有NetworkManager那么在意的配置文件緩存干擾改文件后執(zhí)行networkctl reload出錯(cuò)就是白紙黑字報(bào)錯(cuò)沒有那么多“玄學(xué)”。我在需要跑容器的小機(jī)上基本都會(huì)把網(wǎng)絡(luò)管理切到它。3.3 ifcfg傳統(tǒng)腳本遇到舊系統(tǒng)照樣得會(huì)讀還沒完全淘汰的CentOS 6、7時(shí)代?？?etc/sysconfig/network-scripts/ifcfg-ens3BOOTPROTOnone ONBOOTyes IPADDR192.0.2.10 NETMASK255.255.255.0 GATEWAY192.0.2.1 DNS11.1.1.1后來即使CentOS 7也逐步被NetworkManager接管但如果系統(tǒng)配置變了還是要能讀懂這些字段。最常見的坑是ONBOOTno網(wǎng)卡地址配了卻沒法自啟。還有BOOTPROTOdhcp和靜態(tài)IP混用導(dǎo)致啟動(dòng)時(shí)先搶了DHCP地址后來靜態(tài)地址才覆蓋上去。遇到這類舊系統(tǒng)我建議在改配置前先備份然后執(zhí)行systemctl restart network重啟后立即看ip addr。如果不如預(yù)期立刻查journalctl -u network和message日志。配置文件差一個(gè)下劃線、少一個(gè)引號(hào)都可能讓整個(gè)服務(wù)起不來。4. 排障工具箱從ping到tcpdump4.1 ping真的能通不代表一切正常排查連通性大家第一個(gè)想到ping。但我要潑盆冷水ping通只能說明ICMP和鏈路層通了不代表TCP、UDP端口通也不代表DNS正常。反之ping不通也不能立刻斷定網(wǎng)絡(luò)掛了因?yàn)楹芏嘣O(shè)備主動(dòng)丟棄ICMP。遇到“ping不通但業(yè)務(wù)好像還正?！钡那闆r先確認(rèn)是不是策略問題。用arping看看二層鄰居在不在arping -I ens3 192.0.2.1這個(gè)命令直接在數(shù)據(jù)鏈路層發(fā)送ARP請(qǐng)求不依賴IP轉(zhuǎn)發(fā)。如果arping有響應(yīng)而ping沒有那問題多半在中間路由器的防火墻或ICMP配置上。ping的主要價(jià)值在于測(cè)丟包和延遲。比如ping -c 100 -i 0.2 192.0.2.1穩(wěn)定的內(nèi)網(wǎng)延遲應(yīng)該在1ms以內(nèi)。如果延遲忽高忽低還能觀察到dup重復(fù)響應(yīng)多半是網(wǎng)卡bond配置錯(cuò)誤或者交換機(jī)環(huán)路。4.2 traceroute看的是路徑不是終點(diǎn)網(wǎng)絡(luò)路徑變長(zhǎng)、延遲變大需要找出卡在哪一跳這時(shí)候上traceroutetraceroute -n 203.0.113.5 traceroute -T -p 443 203.0.113.5原理是每次發(fā)送TTL遞增的數(shù)據(jù)包從1開始每過一個(gè)路由器TTL減1減到0時(shí)路由器返回ICMP超時(shí)這樣就能記錄每一跳。-n關(guān)閉反解速度快很多。-T -p 443表示用TCP協(xié)議探測(cè)443端口很多防火墻允許HTTP端口出去這個(gè)方法常能穿透普通ICMP被攔的路徑。輸出里出現(xiàn)*不要慌它只代表這一跳沒有回復(fù)ICMP超時(shí)有可能是該設(shè)備禁了ICMP并不是鏈路斷。真正要關(guān)心的是在某一跳之后所有后續(xù)跳全部超時(shí)那才說明路徑從這里開始出問題。我根據(jù)自己經(jīng)驗(yàn)排障少看中間節(jié)點(diǎn)只看首跳、末跳和延遲突變點(diǎn)就夠了。4.3 ss端口有沒有在聽連接處于什么狀態(tài)查端口監(jiān)聽和連接狀態(tài)用ss。它比老舊的netstat快信息也更準(zhǔn)確ss -lntp ss -s ss -tan state established第一條列出所有監(jiān)聽中的TCP端口-n表示不做域名解析-p顯示進(jìn)程名和PID排障時(shí)立刻能知道某個(gè)端口到底是哪個(gè)程序在監(jiān)聽。第二條查看系統(tǒng)socket統(tǒng)計(jì)比如TIME_WAIT、CLOSE_WAIT總量這個(gè)數(shù)字突然暴漲往往預(yù)示應(yīng)用異常。第三條篩出已建立的連接方便排查大量連接堆積的情況。一個(gè)經(jīng)典誤判程序報(bào)“端口被占用”ss -lntp卻怎么都看不到。為什么會(huì)這樣多半是程序監(jiān)聽在IPv6的::地址而ss沒加-6參數(shù)被誤導(dǎo)為沒監(jiān)聽。加上-6再看立刻真相大白。還有一種情況服務(wù)監(jiān)聽在127.0.0.1同機(jī)器可以通過外部連接卻失敗ss -lntp里還是能看到監(jiān)聽但地址決定了它只對(duì)本機(jī)開放。4.4 DNS排查先從系統(tǒng)的角度看再談digDNS問題真的很容易和網(wǎng)絡(luò)問題混在一起。先確認(rèn)系統(tǒng)解析行為getent hosts example.com cat /etc/resolv.conf系統(tǒng)里很多程序不是直接用DNS協(xié)議而是走libc的getaddrinfo它受/etc/nsswitch.conf控制。比如nsswitch里配置了files dns表示先查/etc/hosts再查DNS。如果你往/etc/hosts里寫了一條解析記錄即使DNS正常解析結(jié)果也會(huì)優(yōu)先用hosts里的值。排障時(shí)一定要先getent hosts再?zèng)Q定要不要看dig?？碊NS查詢本身用digdig 1.1.1.1 example.com short dig trace example.com指定上游DNS服務(wù)器可以跳過本地緩存直接測(cè)公共解析。trace能展示從根域到最終目標(biāo)的完整解析鏈路。如果你發(fā)現(xiàn)本地程序解析異常但dig 公共DNS正常問題大概率出在本地DNS服務(wù)器或/etc/resolv.conf配置順序上。注意/etc/resolv.conf經(jīng)常被NetworkManager偷偷重寫。很多人在里面手寫了DNS重啟后就剩一行127.0.0.53那是systemd-resolved在接管。不要直接編輯后等著重啟要檢查是不是被某個(gè)管理服務(wù)給覆蓋了。4.5 tcpdump抓包最后用證據(jù)說話前面所有工具都只是間接推斷只有抓包能看到最原始的網(wǎng)絡(luò)交互。tcpdump是最終的“呈堂證供”tcpdump -i ens3 -nn port 53 tcpdump -i any -nn tcp port 8080 -w /tmp/http.pcap第一條監(jiān)聽53端口-nn不解析主機(jī)名和端口避免干擾自己。第二條把8080端口包存入pcap文件方便后續(xù)用圖形化工具慢速分析。抓包時(shí)如果流量很大建議先加上-c 100限制抓包數(shù)量不然文件膨脹得嚇人。我舉一個(gè)用tcpdump定位的真實(shí)場(chǎng)景應(yīng)用日志大量報(bào)“上游連接超時(shí)”ping網(wǎng)關(guān)正常端口也能連通就是業(yè)務(wù)整體變慢。我抓包后發(fā)現(xiàn)TCP重傳率居高不下連續(xù)看到TCP Dup ACK和Retransmission。順著重傳下去定位到這臺(tái)機(jī)器與核心交換機(jī)之間有大量錯(cuò)包最后查清楚是網(wǎng)卡驅(qū)動(dòng)固件太老導(dǎo)致協(xié)商速率不穩(wěn)定。如果不抓包這件事怎么查都像是“玄學(xué)”。抓包務(wù)必注意權(quán)限普通用戶跑需要root或者賦予CAP_NET_RAW。另外抓包本身會(huì)影響性能生產(chǎn)環(huán)境別長(zhǎng)時(shí)間全量抓條件盡量選精確。5. 防火墻與NATnetfilter體系其實(shí)很樸素5.1 從iptables到nftables規(guī)則鏈里發(fā)生了什么Linux防火墻的本質(zhì)是內(nèi)核里的netfilter框架。它對(duì)數(shù)據(jù)包設(shè)置了幾道關(guān)口管理員可以往關(guān)口上追加規(guī)則。以前用iptables現(xiàn)在更推薦nftables但概念一脈相承表和鏈。記住這張表就夠了鏈觸發(fā)時(shí)機(jī)用途PREROUTING包到達(dá)本機(jī)路由決策之前DNAT、地址偽裝前處理INPUT目標(biāo)地址是本機(jī)過濾發(fā)往本機(jī)的流量FORWARD目標(biāo)地址非本機(jī)需要轉(zhuǎn)發(fā)過濾經(jīng)本機(jī)轉(zhuǎn)發(fā)的流量OUTPUT本機(jī)發(fā)出包路由決策之后過濾本機(jī)外發(fā)流量POSTROUTING包即將離開網(wǎng)卡SNAT、MASQUERADE為什么要理解這個(gè)順序因?yàn)槟阕龅拿織l規(guī)則放在不同鏈生效點(diǎn)完全不一樣。舉個(gè)典型困惑做端口轉(zhuǎn)發(fā)時(shí)為什么DNAT規(guī)則寫在PREROUTING而通常必須配合SNAT規(guī)則因?yàn)镻REROUTING先改了目標(biāo)地址讓數(shù)據(jù)包知道該往哪轉(zhuǎn)發(fā)但如果源地址還是外部客戶端地址回包就會(huì)直接發(fā)給客戶端而不是回到我們的服務(wù)器所以必須再在POSTROUTING做SNAT讓回包先經(jīng)過我們這臺(tái)機(jī)器。5.2 最小防火墻規(guī)則集與動(dòng)態(tài)加載用nftables配一個(gè)基礎(chǔ)規(guī)則集示例寫入/etc/nftables.conftable inet filter { chain input { type filter hook input priority 0; policy drop; ct state established,related accept iif lo accept tcp dport 22 accept tcp dport 80 accept tcp dport 443 accept } chain forward { type filter hook forward priority 0; policy drop; } chain output { type filter hook output priority 0; policy accept; } }這里policy drop表示默認(rèn)丟棄所有包。最保險(xiǎn)的順序是先把放行規(guī)則寫好再提policy drop。如果你正在遠(yuǎn)程操作服務(wù)器大膽設(shè)置了drop又忘記放行22端口那么恭喜你只能去機(jī)房或帶外管理口“救火”了。我自己的經(jīng)驗(yàn)是任何防火墻改動(dòng)都先操作后檢查并且給自己留一條回滾路徑。比如iptables可以先iptables-save /tmp/fw.backupnftables先nft list ruleset /tmp/nft.backup。改動(dòng)完立刻從另一個(gè)會(huì)話測(cè)試通斷一旦斷掉馬上回滾別抱僥幸心理。5.3 DNAT端口映射與MASQUERADE經(jīng)典內(nèi)外網(wǎng)穿透需求很常見內(nèi)網(wǎng)一臺(tái)服務(wù)器192.0.2.20只跑在80端口但是外部訪問入口應(yīng)該是192.0.2.10的8080端口。你可以在網(wǎng)關(guān)這臺(tái)Linux上做轉(zhuǎn)發(fā)。開啟內(nèi)核轉(zhuǎn)發(fā)先sysctl -w net.ipv4.ip_forward1 echo net.ipv4.ip_forward1 /etc/sysctl.conf然后用nftables配置nft add rule ip nat prerouting tcp dport 8080 dnat to 192.0.2.20:80 nft add rule ip nat postrouting ip saddr 192.0.2.0/24 masquerade第一條將外部訪問本機(jī)8080的流量改寫成目標(biāo)192.0.2.20:80。第二條讓轉(zhuǎn)發(fā)出去的內(nèi)網(wǎng)源地址被偽裝成本機(jī)地址。如果少了第二條回包路徑很可能不對(duì)稱內(nèi)網(wǎng)服務(wù)器看到源地址是外部IP自己回包時(shí)會(huì)嘗試直接發(fā)給外部IP而我們這臺(tái)網(wǎng)關(guān)根本沒有做路連接自然失敗。MASQUERADE跟SNAT的區(qū)別在于會(huì)動(dòng)態(tài)獲取出口IP適合出口地址不固定的情況。如果系統(tǒng)開啟了firewalld也能完成類似操作firewall-cmd --add-forward-portport8080:prototcp:toport80:toaddr192.0.2.20 --permanent firewall-cmd --reload這類NAT配置在生產(chǎn)中經(jīng)常和容器、虛擬化重疊使用。哪怕你現(xiàn)在不做網(wǎng)關(guān)掌握了DNAT和SNAT的配合關(guān)系看容器里端口映射的手冊(cè)也會(huì)輕松很多。6. 常見網(wǎng)絡(luò)故障與排查流程6.1 一條完整的排查路徑不管多復(fù)雜的網(wǎng)絡(luò)問題我都按這條路徑走基本沒有走偏過。先看接口鏈路ip link檢查UPethtool ens3確認(rèn)協(xié)商速率。鏈路層沒問題再看IP層ip addr確認(rèn)地址ip route確認(rèn)默認(rèn)網(wǎng)關(guān)。通了之后測(cè)DNS解析getent hosts判斷系統(tǒng)側(cè)解析是否正常。解析正常再測(cè)端口ss -lntp看服務(wù)監(jiān)聽nc -vz 192.0.2.20 80測(cè)遠(yuǎn)程端口可達(dá)性。如果還是不通直接抓包找證據(jù)。有人會(huì)問是不是一上來就抓包更省事我的回答是不要。無差別抓包容易讓人陷入海量信息中反而找不到重點(diǎn)。先通過分層排查把范圍縮到最小再抓包就是精準(zhǔn)打擊。舉個(gè)例子某臺(tái)服務(wù)器上的應(yīng)用偶爾連接慢直觀感覺是網(wǎng)絡(luò)故障。我按路徑走下來接口、地址、路由都正常但getent hosts返回結(jié)果時(shí)快時(shí)慢。這時(shí)直接dig 本地DNS域名發(fā)現(xiàn)響應(yīng)時(shí)間抖動(dòng)最后定位到DNS服務(wù)器性能問題。整個(gè)排查沒抓包就定位得明明白白。6.2 高頻問題速查表現(xiàn)象候選原因先做什么網(wǎng)卡顯示DOWN物理鏈路或接口未啟用ip link set ens3 up有地址但ping不通網(wǎng)關(guān)路由問題或網(wǎng)關(guān)側(cè)防火墻ip route檢查默認(rèn)路由ping通但SSH連不上防火墻端口攔截 / SSH監(jiān)聽地址ss -lntp看22端口監(jiān)聽檢查INPUT鏈域名解析失敗resolv.conf被篡改 / 上游DNS不可達(dá)cat /etc/resolv.confdig 8.8.8.8連接頻繁重置并發(fā)過高 / 連接數(shù)限制dmesg查連接跟蹤表滿ss -s看狀態(tài)偶發(fā)重傳網(wǎng)卡協(xié)商 / 中間鏈路丟包ethtool -S ens3查錯(cuò)誤計(jì)數(shù)tcpdump看重傳老手和新手的區(qū)別往往不在知道多少命令而在出問題時(shí)能不能按表索驥快速縮小范圍。這張表幫我在值班時(shí)省下大量無效操作你完全可以照著自己的環(huán)境維護(hù)一張更細(xì)的版本。6.3 幾條越早明白越好的實(shí)戰(zhàn)心得先說改動(dòng)前留退路。網(wǎng)絡(luò)配置不像改代碼可以提交后重啟驗(yàn)證配置改錯(cuò)可能直接連不上機(jī)器。我每次遠(yuǎn)程改網(wǎng)絡(luò)都先把當(dāng)前配置導(dǎo)出并開一條“保命”會(huì)話防止改完自己連工具窗都關(guān)不掉。再說謹(jǐn)慎對(duì)待一切自動(dòng)重寫的服務(wù)。Cloud-init、NetworkManager、systemd-resolved都會(huì)按自己邏輯覆寫配置。如果你的靜態(tài)配置總是莫名其妙消失別懷疑同事先排查這些管理服務(wù)的狀態(tài)。還有一個(gè)容易翻車的地方IPv6。很多問題表現(xiàn)為“偶爾連不上”最后發(fā)現(xiàn)是應(yīng)用只監(jiān)聽了IPv4而客戶端優(yōu)先走了IPv6。排查時(shí)ss -lntp6和ping6都要會(huì)用。你的網(wǎng)絡(luò)基礎(chǔ)有沒有真正過關(guān)就看能不能在同一臺(tái)機(jī)器上把v4、v6、路由、防火墻這些因素同時(shí)理順。最后一個(gè)小小的建議是每次排完一個(gè)網(wǎng)絡(luò)問題把過程和結(jié)論記下來。不用寫多長(zhǎng)關(guān)鍵命令加結(jié)果即可。下次遇到類似case翻看自己的筆記比重新翻文檔快十倍。網(wǎng)絡(luò)基礎(chǔ)就是在一輪輪實(shí)踐中越變?cè)皆鷮?shí)的沒有人能跳過這一步。 Linux網(wǎng)絡(luò)排查從入門到實(shí)戰(zhàn)：協(xié)議棧、路由、防火墻與NAT全解析
Linux下的網(wǎng)絡(luò)基礎(chǔ)說真的屬于那種你覺得自己會(huì)了但一到生產(chǎn)環(huán)境就露怯的主題。干運(yùn)維這些年我最大的體會(huì)是網(wǎng)絡(luò)不通的根因絕大多數(shù)不是命令不夠炫而是沒把底層的數(shù)據(jù)流轉(zhuǎn)、協(xié)議分層、路由決策這些基本功串起來。這篇文章不談那些花哨的框架就老老實(shí)實(shí)把這些基礎(chǔ)鋪開從內(nèi)核收包到ip命令從配置文件到防火墻NAT再到真實(shí)排障時(shí)該怎么一步步追問題。適合剛接觸Linux的開發(fā)者也適合已經(jīng)寫了一年腳本但遇到網(wǎng)絡(luò)問題就懵的系統(tǒng)管理員。保證你看完能少踩幾個(gè)我當(dāng)年踩過的坑。1. 先把Linux網(wǎng)絡(luò)這件事的輪廓描清楚1.1 一次收包請(qǐng)求在內(nèi)核里走了多遠(yuǎn)我記得第一次獨(dú)自排查服務(wù)器“網(wǎng)絡(luò)全部不通”時(shí)第一反應(yīng)是重啟網(wǎng)卡。后來問題依舊才知道自己連最基礎(chǔ)的數(shù)據(jù)包走向都模糊。理解Linux網(wǎng)絡(luò)基礎(chǔ)應(yīng)該從網(wǎng)卡收到數(shù)據(jù)的那一刻開始。當(dāng)網(wǎng)卡接收到一段電平信號(hào)先做CRC校驗(yàn)確認(rèn)幀沒壞再通過DMA直接寫進(jìn)內(nèi)存里的環(huán)形緩沖區(qū)這一步基本不消耗CPU。接著硬中斷觸發(fā)內(nèi)核會(huì)注冊(cè)一個(gè)軟中斷NET_RX_SOFTIRQ把數(shù)據(jù)包封裝成一個(gè)叫sk_buff的結(jié)構(gòu)體。這個(gè)結(jié)構(gòu)體是整個(gè)協(xié)議棧的“快遞包裹”從鏈路層一路傳到傳輸層都靠它。隨后包進(jìn)入?yún)f(xié)議棧鏈路層去掉以太網(wǎng)頭根據(jù)頭里的協(xié)議字段判斷是IPv40x0800、ARP0x0806還是IPv60x86DD。網(wǎng)絡(luò)層拿到IP頭后第一件事是查路由表搞清楚這個(gè)包是給本機(jī)的還是需要轉(zhuǎn)發(fā)出去的。如果是給本機(jī)的再根據(jù)TCP或UDP頭里的端口號(hào)去找對(duì)應(yīng)的socket最終放進(jìn)socket接收隊(duì)列應(yīng)用層通過read、epoll這些系統(tǒng)調(diào)用拿到數(shù)據(jù)。這趟鏈路聽起來不復(fù)雜但每一步都可能出問題。比如MTU不匹配導(dǎo)致包被分片或者被丟棄路由表策略不對(duì)導(dǎo)致包繞了遠(yuǎn)路socket接收隊(duì)列滿了導(dǎo)致內(nèi)核丟棄數(shù)據(jù)。如果你一上來就抓包看到現(xiàn)象卻解釋不了根因那大概率就是沒把這條鏈路吃透。1.2 分層的意義以及排障為什么容易錯(cuò)位TCP/IP模型分四層鏈路層、網(wǎng)絡(luò)層、傳輸層、應(yīng)用層。每層各司其職但排障時(shí)最容易犯的錯(cuò)是拿高層工具去測(cè)低層故障或者反過來。拿寄快遞打比方鏈路層是快遞貨車網(wǎng)絡(luò)層是分揀中心決定包裹去哪個(gè)城市傳輸層是快遞單號(hào)衣服柜子應(yīng)用層是收件人簽收。全鏈路暢通收件人才拿得到貨。網(wǎng)絡(luò)問題雖然表現(xiàn)為應(yīng)用層“連不上”根因卻可能出在任何一層。我見過不少人遇到“網(wǎng)絡(luò)不通”就拼命檢查業(yè)務(wù)端口結(jié)果真正原因是物理網(wǎng)線松了。更有意思的是反向場(chǎng)景ping通就以為網(wǎng)絡(luò)沒問題結(jié)果業(yè)務(wù)端口被防火墻擋在INPUT鏈上。分層思維的價(jià)值在于排障順序永遠(yuǎn)不會(huì)亂。先鏈路再IP再路由再傳輸再應(yīng)用。每層都有專屬工具和專屬查看命令后面幾節(jié)我會(huì)按這個(gè)順序展開。2. 用ip命令把網(wǎng)絡(luò)狀態(tài)摸透2.1 ip link先確認(rèn)接口活著而且狀態(tài)是UP現(xiàn)在很多Linux發(fā)行版仍然保留ifconfig命令但它早已不是主流。現(xiàn)代系統(tǒng)上ip命令是標(biāo)準(zhǔn)操作入口。排查第一步永遠(yuǎn)應(yīng)該先看接口狀態(tài)ip link show ip -s link show ens3第一條輸出能看到每個(gè)接口的名稱、MAC地址、狀態(tài)和MTU。尤其要關(guān)注state UP還是state DOWN。如果接口處于DOWNip addr里配置再漂亮的IP也是白搭。第二條加-s參數(shù)能看到收發(fā)統(tǒng)計(jì)。重點(diǎn)看errors、dropped、overruns這幾列。errors大幅上漲多半是物理層問題比如網(wǎng)線松動(dòng)、交換機(jī)端口協(xié)商異常。dropped上漲可能是接收緩沖區(qū)不夠或者防火墻策略丟包。overruns說明內(nèi)核處理不過來常見于小包沖擊或者CPU軟中斷被綁核。提到MTU很多人忽略。默認(rèn)1500字節(jié)在絕大多數(shù)場(chǎng)景沒問題但用VXLAN、隧道或者巨型幀環(huán)境就很容易出現(xiàn)黑洞。怎么驗(yàn)證MTU可以用帶DF標(biāo)志的pingping -M do -s 1472 192.0.2.1默認(rèn)ping payload是64字節(jié)以太網(wǎng)總幀大小大約1500所以payloadIP頭20ICMP頭81472剛好不超。如果這個(gè)能通說明網(wǎng)絡(luò)路徑支持1500MTU。如果再往上加字節(jié)ping不通那就是某個(gè)中間設(shè)備MTU太小并且ICMP不可達(dá)消息又被防火墻吞了。2.2 ip addrIP地址、CIDR和scope別只記命令接口正常后第二步檢查地址ip addr show ip addr add 192.0.2.10/24 dev ens3 ip addr del 192.0.2.10/24 dev ens3我一直強(qiáng)調(diào)要理解CIDR。/24不是隨便寫上去的它代表子網(wǎng)掩碼是255.255.255.0。192.0.2.10/24意味著網(wǎng)絡(luò)地址192.0.2.0廣播地址192.0.2.255有效可用主機(jī)地址是192.0.2.1到192.0.2.254?？吹健?24”如果不能立刻反應(yīng)出掩碼和廣播地址說明還需要補(bǔ)基礎(chǔ)。ip addr輸出里還有個(gè)容易被忽略的scope字段。常見的global表示這個(gè)地址對(duì)外可見host表示只屬于本機(jī)。比如lo接口上的127.0.0.1/8就是scope host。有些服務(wù)監(jiān)聽在127.0.0.1上外部永遠(yuǎn)無法訪問本質(zhì)就是地址scope限定的。檢查地址時(shí)還要警惕一個(gè)現(xiàn)象接口上有多個(gè)IP并不奇怪但同一個(gè)IP出現(xiàn)在兩個(gè)接口上會(huì)出事。Linux對(duì)地址沖突不是特別敏感兩個(gè)接口廣播同一個(gè)IP會(huì)導(dǎo)致后續(xù)收到數(shù)據(jù)的arp緩存來回跳。如果你發(fā)現(xiàn)ip addr里出現(xiàn)兩處相同地址這通常比防火墻問題更隱蔽也更致命。2.3 ip route路由表決定數(shù)據(jù)包去向默認(rèn)網(wǎng)關(guān)別亂配地址有了怎么知道數(shù)據(jù)包走哪個(gè)口出去看路由ip route show ip route add default via 192.0.2.1 dev ens3 ip route add 10.10.0.0/16 via 192.0.2.1 ip route del 10.10.0.0/16路由表的核心規(guī)則是“最長(zhǎng)前綴匹配”。比如有一條default路由也有一條10.10.0.0/16路由那么去10.10.1.5的數(shù)據(jù)包會(huì)選擇后面這條因?yàn)樗熬Y更長(zhǎng)、更精確。理解這個(gè)規(guī)則解決“為什么走了奇怪網(wǎng)關(guān)”就很容易。ip route show輸出里經(jīng)常有一行proto kernel scope link src 192.0.2.10這是內(nèi)核因?yàn)榻涌谂渲昧说刂范詣?dòng)生成的直連路由。它保證了同網(wǎng)段的包可以直接出去不需要網(wǎng)關(guān)。有些人手動(dòng)刪掉這類路由結(jié)果同網(wǎng)段通信立刻斷開就是這個(gè)原因。默認(rèn)網(wǎng)關(guān)配置也常見一個(gè)坑一個(gè)網(wǎng)卡配了多個(gè)IP或者系統(tǒng)有多個(gè)網(wǎng)卡如果把默認(rèn)網(wǎng)關(guān)指向一個(gè)并不存在的下一跳外部流量全都會(huì)消失。我習(xí)慣配置完地址后立刻ip route show確認(rèn)默認(rèn)路由的dev接口真的是通往外部的那張網(wǎng)卡。3. 從臨時(shí)配置到永久生效Linux網(wǎng)絡(luò)配置的三種姿勢(shì)3.1 NetworkManager與nmcli適合桌面也適合大部分云主機(jī)ip命令改的配置只對(duì)當(dāng)前運(yùn)行生效重啟后一切還原。要持久化繞不開網(wǎng)絡(luò)管理服務(wù)。目前最常見的管理者是NetworkManager。雖然很多人對(duì)它有成見但它對(duì)動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境處理確實(shí)好尤其適合云主機(jī)。常用命令nmcli device status nmcli connection show nmcli con mod ens3 ipv4.method manual ipv4.addresses 192.0.2.10/24 ipv4.gateway 192.0.2.1 nmcli con up ens3nmcli con mod不會(huì)立即生效需要up或者重啟網(wǎng)絡(luò)服務(wù)。這也經(jīng)常讓人誤會(huì)改了配置沒重啟查半天發(fā)現(xiàn)運(yùn)行時(shí)的配置還是舊的。NetworkManager強(qiáng)大的地方在于可以統(tǒng)一管理bond、vlan、bridge。比如多網(wǎng)卡綁定鏈路聚合用nmcli可以一步到位。如果只用腳本跪多個(gè)配置文件遇到bond或者vlan會(huì)非常痛苦。我碰到過生產(chǎn)環(huán)境為了做bond手寫了半天ifcfg文件最后發(fā)現(xiàn)NetworkManager根本不讀原因是沒有設(shè)置NM_CONTROLLEDyes。這類問題在純NetworkManager環(huán)境里反而不會(huì)發(fā)生。但NetworkManager也不是萬能。如果你是一個(gè)極簡(jiǎn)容器或者輕量虛擬機(jī)不需要復(fù)雜連接管理那么它反而是累贅。所以下面這個(gè)選擇很關(guān)鍵。3.2 systemd-networkd適合輕量服務(wù)器和容器場(chǎng)景凡是看NetworkManager不順眼的多半會(huì)喜歡systemd-networkd。它通過文本文件直接描述“哪個(gè)網(wǎng)卡用哪個(gè)地址”規(guī)則簡(jiǎn)單粗暴。靜態(tài)配置示例寫入/etc/systemd/network/10-static.network[Match] Nameens3 [Network] Address192.0.2.10/24 Gateway192.0.2.1 DNS1.1.1.1使用這個(gè)配置要先把NetworkManager停掉systemctl stop NetworkManager systemctl disable NetworkManager systemctl enable --now systemd-networkd注意/etc/systemd/network/下文件的命名順序系統(tǒng)按字典序加載文件名。如果兩個(gè)文件匹配同一網(wǎng)卡配置就可能相互覆蓋。養(yǎng)成以數(shù)字開頭命名的習(xí)慣比如10-ens3.network這樣優(yōu)先級(jí)一目了然。DHCP配置更簡(jiǎn)單[Match] Nameens3 [Network] DHCPyessystemd-networkd還有個(gè)好處沒有NetworkManager那么在意的配置文件緩存干擾改文件后執(zhí)行networkctl reload出錯(cuò)就是白紙黑字報(bào)錯(cuò)沒有那么多“玄學(xué)”。我在需要跑容器的小機(jī)上基本都會(huì)把網(wǎng)絡(luò)管理切到它。3.3 ifcfg傳統(tǒng)腳本遇到舊系統(tǒng)照樣得會(huì)讀還沒完全淘汰的CentOS 6、7時(shí)代?？?etc/sysconfig/network-scripts/ifcfg-ens3BOOTPROTOnone ONBOOTyes IPADDR192.0.2.10 NETMASK255.255.255.0 GATEWAY192.0.2.1 DNS11.1.1.1后來即使CentOS 7也逐步被NetworkManager接管但如果系統(tǒng)配置變了還是要能讀懂這些字段。最常見的坑是ONBOOTno網(wǎng)卡地址配了卻沒法自啟。還有BOOTPROTOdhcp和靜態(tài)IP混用導(dǎo)致啟動(dòng)時(shí)先搶了DHCP地址后來靜態(tài)地址才覆蓋上去。遇到這類舊系統(tǒng)我建議在改配置前先備份然后執(zhí)行systemctl restart network重啟后立即看ip addr。如果不如預(yù)期立刻查journalctl -u network和message日志。配置文件差一個(gè)下劃線、少一個(gè)引號(hào)都可能讓整個(gè)服務(wù)起不來。4. 排障工具箱從ping到tcpdump4.1 ping真的能通不代表一切正常排查連通性大家第一個(gè)想到ping。但我要潑盆冷水ping通只能說明ICMP和鏈路層通了不代表TCP、UDP端口通也不代表DNS正常。反之ping不通也不能立刻斷定網(wǎng)絡(luò)掛了因?yàn)楹芏嘣O(shè)備主動(dòng)丟棄ICMP。遇到“ping不通但業(yè)務(wù)好像還正?！钡那闆r先確認(rèn)是不是策略問題。用arping看看二層鄰居在不在arping -I ens3 192.0.2.1這個(gè)命令直接在數(shù)據(jù)鏈路層發(fā)送ARP請(qǐng)求不依賴IP轉(zhuǎn)發(fā)。如果arping有響應(yīng)而ping沒有那問題多半在中間路由器的防火墻或ICMP配置上。ping的主要價(jià)值在于測(cè)丟包和延遲。比如ping -c 100 -i 0.2 192.0.2.1穩(wěn)定的內(nèi)網(wǎng)延遲應(yīng)該在1ms以內(nèi)。如果延遲忽高忽低還能觀察到dup重復(fù)響應(yīng)多半是網(wǎng)卡bond配置錯(cuò)誤或者交換機(jī)環(huán)路。4.2 traceroute看的是路徑不是終點(diǎn)網(wǎng)絡(luò)路徑變長(zhǎng)、延遲變大需要找出卡在哪一跳這時(shí)候上traceroutetraceroute -n 203.0.113.5 traceroute -T -p 443 203.0.113.5原理是每次發(fā)送TTL遞增的數(shù)據(jù)包從1開始每過一個(gè)路由器TTL減1減到0時(shí)路由器返回ICMP超時(shí)這樣就能記錄每一跳。-n關(guān)閉反解速度快很多。-T -p 443表示用TCP協(xié)議探測(cè)443端口很多防火墻允許HTTP端口出去這個(gè)方法常能穿透普通ICMP被攔的路徑。輸出里出現(xiàn)*不要慌它只代表這一跳沒有回復(fù)ICMP超時(shí)有可能是該設(shè)備禁了ICMP并不是鏈路斷。真正要關(guān)心的是在某一跳之后所有后續(xù)跳全部超時(shí)那才說明路徑從這里開始出問題。我根據(jù)自己經(jīng)驗(yàn)排障少看中間節(jié)點(diǎn)只看首跳、末跳和延遲突變點(diǎn)就夠了。4.3 ss端口有沒有在聽連接處于什么狀態(tài)查端口監(jiān)聽和連接狀態(tài)用ss。它比老舊的netstat快信息也更準(zhǔn)確ss -lntp ss -s ss -tan state established第一條列出所有監(jiān)聽中的TCP端口-n表示不做域名解析-p顯示進(jìn)程名和PID排障時(shí)立刻能知道某個(gè)端口到底是哪個(gè)程序在監(jiān)聽。第二條查看系統(tǒng)socket統(tǒng)計(jì)比如TIME_WAIT、CLOSE_WAIT總量這個(gè)數(shù)字突然暴漲往往預(yù)示應(yīng)用異常。第三條篩出已建立的連接方便排查大量連接堆積的情況。一個(gè)經(jīng)典誤判程序報(bào)“端口被占用”ss -lntp卻怎么都看不到。為什么會(huì)這樣多半是程序監(jiān)聽在IPv6的::地址而ss沒加-6參數(shù)被誤導(dǎo)為沒監(jiān)聽。加上-6再看立刻真相大白。還有一種情況服務(wù)監(jiān)聽在127.0.0.1同機(jī)器可以通過外部連接卻失敗ss -lntp里還是能看到監(jiān)聽但地址決定了它只對(duì)本機(jī)開放。4.4 DNS排查先從系統(tǒng)的角度看再談digDNS問題真的很容易和網(wǎng)絡(luò)問題混在一起。先確認(rèn)系統(tǒng)解析行為getent hosts example.com cat /etc/resolv.conf系統(tǒng)里很多程序不是直接用DNS協(xié)議而是走libc的getaddrinfo它受/etc/nsswitch.conf控制。比如nsswitch里配置了files dns表示先查/etc/hosts再查DNS。如果你往/etc/hosts里寫了一條解析記錄即使DNS正常解析結(jié)果也會(huì)優(yōu)先用hosts里的值。排障時(shí)一定要先getent hosts再?zèng)Q定要不要看dig?？碊NS查詢本身用digdig 1.1.1.1 example.com short dig trace example.com指定上游DNS服務(wù)器可以跳過本地緩存直接測(cè)公共解析。trace能展示從根域到最終目標(biāo)的完整解析鏈路。如果你發(fā)現(xiàn)本地程序解析異常但dig 公共DNS正常問題大概率出在本地DNS服務(wù)器或/etc/resolv.conf配置順序上。注意/etc/resolv.conf經(jīng)常被NetworkManager偷偷重寫。很多人在里面手寫了DNS重啟后就剩一行127.0.0.53那是systemd-resolved在接管。不要直接編輯后等著重啟要檢查是不是被某個(gè)管理服務(wù)給覆蓋了。4.5 tcpdump抓包最后用證據(jù)說話前面所有工具都只是間接推斷只有抓包能看到最原始的網(wǎng)絡(luò)交互。tcpdump是最終的“呈堂證供”tcpdump -i ens3 -nn port 53 tcpdump -i any -nn tcp port 8080 -w /tmp/http.pcap第一條監(jiān)聽53端口-nn不解析主機(jī)名和端口避免干擾自己。第二條把8080端口包存入pcap文件方便后續(xù)用圖形化工具慢速分析。抓包時(shí)如果流量很大建議先加上-c 100限制抓包數(shù)量不然文件膨脹得嚇人。我舉一個(gè)用tcpdump定位的真實(shí)場(chǎng)景應(yīng)用日志大量報(bào)“上游連接超時(shí)”ping網(wǎng)關(guān)正常端口也能連通就是業(yè)務(wù)整體變慢。我抓包后發(fā)現(xiàn)TCP重傳率居高不下連續(xù)看到TCP Dup ACK和Retransmission。順著重傳下去定位到這臺(tái)機(jī)器與核心交換機(jī)之間有大量錯(cuò)包最后查清楚是網(wǎng)卡驅(qū)動(dòng)固件太老導(dǎo)致協(xié)商速率不穩(wěn)定。如果不抓包這件事怎么查都像是“玄學(xué)”。抓包務(wù)必注意權(quán)限普通用戶跑需要root或者賦予CAP_NET_RAW。另外抓包本身會(huì)影響性能生產(chǎn)環(huán)境別長(zhǎng)時(shí)間全量抓條件盡量選精確。5. 防火墻與NATnetfilter體系其實(shí)很樸素5.1 從iptables到nftables規(guī)則鏈里發(fā)生了什么Linux防火墻的本質(zhì)是內(nèi)核里的netfilter框架。它對(duì)數(shù)據(jù)包設(shè)置了幾道關(guān)口管理員可以往關(guān)口上追加規(guī)則。以前用iptables現(xiàn)在更推薦nftables但概念一脈相承表和鏈。記住這張表就夠了鏈觸發(fā)時(shí)機(jī)用途PREROUTING包到達(dá)本機(jī)路由決策之前DNAT、地址偽裝前處理INPUT目標(biāo)地址是本機(jī)過濾發(fā)往本機(jī)的流量FORWARD目標(biāo)地址非本機(jī)需要轉(zhuǎn)發(fā)過濾經(jīng)本機(jī)轉(zhuǎn)發(fā)的流量OUTPUT本機(jī)發(fā)出包路由決策之后過濾本機(jī)外發(fā)流量POSTROUTING包即將離開網(wǎng)卡SNAT、MASQUERADE為什么要理解這個(gè)順序因?yàn)槟阕龅拿織l規(guī)則放在不同鏈生效點(diǎn)完全不一樣。舉個(gè)典型困惑做端口轉(zhuǎn)發(fā)時(shí)為什么DNAT規(guī)則寫在PREROUTING而通常必須配合SNAT規(guī)則因?yàn)镻REROUTING先改了目標(biāo)地址讓數(shù)據(jù)包知道該往哪轉(zhuǎn)發(fā)但如果源地址還是外部客戶端地址回包就會(huì)直接發(fā)給客戶端而不是回到我們的服務(wù)器所以必須再在POSTROUTING做SNAT讓回包先經(jīng)過我們這臺(tái)機(jī)器。5.2 最小防火墻規(guī)則集與動(dòng)態(tài)加載用nftables配一個(gè)基礎(chǔ)規(guī)則集示例寫入/etc/nftables.conftable inet filter { chain input { type filter hook input priority 0; policy drop; ct state established,related accept iif lo accept tcp dport 22 accept tcp dport 80 accept tcp dport 443 accept } chain forward { type filter hook forward priority 0; policy drop; } chain output { type filter hook output priority 0; policy accept; } }這里policy drop表示默認(rèn)丟棄所有包。最保險(xiǎn)的順序是先把放行規(guī)則寫好再提policy drop。如果你正在遠(yuǎn)程操作服務(wù)器大膽設(shè)置了drop又忘記放行22端口那么恭喜你只能去機(jī)房或帶外管理口“救火”了。我自己的經(jīng)驗(yàn)是任何防火墻改動(dòng)都先操作后檢查并且給自己留一條回滾路徑。比如iptables可以先iptables-save /tmp/fw.backupnftables先nft list ruleset /tmp/nft.backup。改動(dòng)完立刻從另一個(gè)會(huì)話測(cè)試通斷一旦斷掉馬上回滾別抱僥幸心理。5.3 DNAT端口映射與MASQUERADE經(jīng)典內(nèi)外網(wǎng)穿透需求很常見內(nèi)網(wǎng)一臺(tái)服務(wù)器192.0.2.20只跑在80端口但是外部訪問入口應(yīng)該是192.0.2.10的8080端口。你可以在網(wǎng)關(guān)這臺(tái)Linux上做轉(zhuǎn)發(fā)。開啟內(nèi)核轉(zhuǎn)發(fā)先sysctl -w net.ipv4.ip_forward1 echo net.ipv4.ip_forward1 /etc/sysctl.conf然后用nftables配置nft add rule ip nat prerouting tcp dport 8080 dnat to 192.0.2.20:80 nft add rule ip nat postrouting ip saddr 192.0.2.0/24 masquerade第一條將外部訪問本機(jī)8080的流量改寫成目標(biāo)192.0.2.20:80。第二條讓轉(zhuǎn)發(fā)出去的內(nèi)網(wǎng)源地址被偽裝成本機(jī)地址。如果少了第二條回包路徑很可能不對(duì)稱內(nèi)網(wǎng)服務(wù)器看到源地址是外部IP自己回包時(shí)會(huì)嘗試直接發(fā)給外部IP而我們這臺(tái)網(wǎng)關(guān)根本沒有做路連接自然失敗。MASQUERADE跟SNAT的區(qū)別在于會(huì)動(dòng)態(tài)獲取出口IP適合出口地址不固定的情況。如果系統(tǒng)開啟了firewalld也能完成類似操作firewall-cmd --add-forward-portport8080:prototcp:toport80:toaddr192.0.2.20 --permanent firewall-cmd --reload這類NAT配置在生產(chǎn)中經(jīng)常和容器、虛擬化重疊使用。哪怕你現(xiàn)在不做網(wǎng)關(guān)掌握了DNAT和SNAT的配合關(guān)系看容器里端口映射的手冊(cè)也會(huì)輕松很多。6. 常見網(wǎng)絡(luò)故障與排查流程6.1 一條完整的排查路徑不管多復(fù)雜的網(wǎng)絡(luò)問題我都按這條路徑走基本沒有走偏過。先看接口鏈路ip link檢查UPethtool ens3確認(rèn)協(xié)商速率。鏈路層沒問題再看IP層ip addr確認(rèn)地址ip route確認(rèn)默認(rèn)網(wǎng)關(guān)。通了之后測(cè)DNS解析getent hosts判斷系統(tǒng)側(cè)解析是否正常。解析正常再測(cè)端口ss -lntp看服務(wù)監(jiān)聽nc -vz 192.0.2.20 80測(cè)遠(yuǎn)程端口可達(dá)性。如果還是不通直接抓包找證據(jù)。有人會(huì)問是不是一上來就抓包更省事我的回答是不要。無差別抓包容易讓人陷入海量信息中反而找不到重點(diǎn)。先通過分層排查把范圍縮到最小再抓包就是精準(zhǔn)打擊。舉個(gè)例子某臺(tái)服務(wù)器上的應(yīng)用偶爾連接慢直觀感覺是網(wǎng)絡(luò)故障。我按路徑走下來接口、地址、路由都正常但getent hosts返回結(jié)果時(shí)快時(shí)慢。這時(shí)直接dig 本地DNS域名發(fā)現(xiàn)響應(yīng)時(shí)間抖動(dòng)最后定位到DNS服務(wù)器性能問題。整個(gè)排查沒抓包就定位得明明白白。6.2 高頻問題速查表現(xiàn)象候選原因先做什么網(wǎng)卡顯示DOWN物理鏈路或接口未啟用ip link set ens3 up有地址但ping不通網(wǎng)關(guān)路由問題或網(wǎng)關(guān)側(cè)防火墻ip route檢查默認(rèn)路由ping通但SSH連不上防火墻端口攔截 / SSH監(jiān)聽地址ss -lntp看22端口監(jiān)聽檢查INPUT鏈域名解析失敗resolv.conf被篡改 / 上游DNS不可達(dá)cat /etc/resolv.confdig 8.8.8.8連接頻繁重置并發(fā)過高 / 連接數(shù)限制dmesg查連接跟蹤表滿ss -s看狀態(tài)偶發(fā)重傳網(wǎng)卡協(xié)商 / 中間鏈路丟包ethtool -S ens3查錯(cuò)誤計(jì)數(shù)tcpdump看重傳老手和新手的區(qū)別往往不在知道多少命令而在出問題時(shí)能不能按表索驥快速縮小范圍。這張表幫我在值班時(shí)省下大量無效操作你完全可以照著自己的環(huán)境維護(hù)一張更細(xì)的版本。6.3 幾條越早明白越好的實(shí)戰(zhàn)心得先說改動(dòng)前留退路。網(wǎng)絡(luò)配置不像改代碼可以提交后重啟驗(yàn)證配置改錯(cuò)可能直接連不上機(jī)器。我每次遠(yuǎn)程改網(wǎng)絡(luò)都先把當(dāng)前配置導(dǎo)出并開一條“保命”會(huì)話防止改完自己連工具窗都關(guān)不掉。再說謹(jǐn)慎對(duì)待一切自動(dòng)重寫的服務(wù)。Cloud-init、NetworkManager、systemd-resolved都會(huì)按自己邏輯覆寫配置。如果你的靜態(tài)配置總是莫名其妙消失別懷疑同事先排查這些管理服務(wù)的狀態(tài)。還有一個(gè)容易翻車的地方IPv6。很多問題表現(xiàn)為“偶爾連不上”最后發(fā)現(xiàn)是應(yīng)用只監(jiān)聽了IPv4而客戶端優(yōu)先走了IPv6。排查時(shí)ss -lntp6和ping6都要會(huì)用。你的網(wǎng)絡(luò)基礎(chǔ)有沒有真正過關(guān)就看能不能在同一臺(tái)機(jī)器上把v4、v6、路由、防火墻這些因素同時(shí)理順。最后一個(gè)小小的建議是每次排完一個(gè)網(wǎng)絡(luò)問題把過程和結(jié)論記下來。不用寫多長(zhǎng)關(guān)鍵命令加結(jié)果即可。下次遇到類似case翻看自己的筆記比重新翻文檔快十倍。網(wǎng)絡(luò)基礎(chǔ)就是在一輪輪實(shí)踐中越變?cè)皆鷮?shí)的沒有人能跳過這一步。