第一次在Linux上寫網(wǎng)絡(luò)程序很多人第一反應(yīng)是翻man文檔查socket的用法我也不例外。但真正讓我從“會(huì)調(diào)用API”變成“理解網(wǎng)絡(luò)”的反而不是那幾個(gè)函數(shù)簽名而是把腦子里那臺(tái)“獨(dú)立主機(jī)”的模型拆掉換成一張協(xié)議協(xié)作的地圖。這篇是Linux網(wǎng)絡(luò)編程系列的第一篇目標(biāo)是帶你完成這個(gè)思維轉(zhuǎn)換從單機(jī)進(jìn)程通信的視角切換到多主機(jī)協(xié)議協(xié)作的視角把IP、端口、Socket、TCP/IP分層這些概念串成一條線最后親手跑通一個(gè)最小的TCP程序并用tcpdump親眼看到三次握手。不管是還沒(méi)寫過(guò)網(wǎng)絡(luò)代碼的新手還是寫過(guò)一點(diǎn)但總被奇怪問(wèn)題卡住的人這篇都適用。1. 先從單機(jī)思維切換到網(wǎng)絡(luò)思維1.1 單機(jī)世界的通信方式以及它們的邊界Linux里進(jìn)程與進(jìn)程之間怎么通信管道、消息隊(duì)列、共享內(nèi)存、信號(hào)、本地套接字這些都是經(jīng)典機(jī)制。管道就像一條水管一端寫進(jìn)去另一端讀出來(lái)共享內(nèi)存更像是把一張紙貼在墻上多個(gè)進(jìn)程都能看。這些機(jī)制用起來(lái)都很順手但有一個(gè)共同的邊界條件它們都只能在同一臺(tái)主機(jī)上工作。為什么因?yàn)楣艿馈⑾㈥?duì)列、共享內(nèi)存本質(zhì)上依賴內(nèi)核中的公共資源比如一個(gè)文件描述符、一段共享內(nèi)存區(qū)域。兩個(gè)進(jìn)程哪怕隔著一堵墻只要在同一臺(tái)Linux系統(tǒng)上就能通過(guò)內(nèi)核搭橋。但如果進(jìn)程A在筆記本上進(jìn)程B在千里之外的服務(wù)器上內(nèi)核不是同一個(gè)內(nèi)存不是同一片管道和共享內(nèi)存立刻失效。網(wǎng)絡(luò)編程要解決的就是這個(gè)跨主機(jī)的問(wèn)題。要讓兩個(gè)運(yùn)行在不同機(jī)器上的進(jìn)程像在同一臺(tái)機(jī)器上一樣交換數(shù)據(jù)我們必須設(shè)計(jì)一套機(jī)制怎么找到對(duì)方尋址、怎么把數(shù)據(jù)安全送到傳輸控制、中間經(jīng)過(guò)哪些設(shè)備路由、數(shù)據(jù)壞了怎么辦差錯(cuò)檢測(cè)。這一整套機(jī)制疊加起來(lái)就是我們常說(shuō)的“協(xié)議?！?。所以學(xué)網(wǎng)絡(luò)編程本質(zhì)上學(xué)的不是某個(gè)API而是這套跨主機(jī)通信的規(guī)則體系。1.2 通信的前提是“約定”協(xié)議就是這套約定想象一下兩個(gè)人打電話。撥號(hào)之前雙方其實(shí)默認(rèn)遵守了一整套流程主叫方先撥號(hào)被叫方聽到鈴聲后接聽然后一方說(shuō)“喂”另一方回應(yīng)雙方確認(rèn)能聽到聲音后才開始講正事。這套流程看起來(lái)稀松平常但它保證了通信的雙方在同一時(shí)間、同一頻率、同一語(yǔ)言體系下工作。如果沒(méi)有這套約定一方用手機(jī)、一方用對(duì)講機(jī)或者一方說(shuō)中文、一方說(shuō)德語(yǔ)這個(gè)電話根本打不成。網(wǎng)絡(luò)協(xié)議也一樣它就是通信雙方事先約定好的規(guī)則。專業(yè)一點(diǎn)說(shuō)協(xié)議包含三要素語(yǔ)法規(guī)定數(shù)據(jù)怎么組織比如字段順序、格式語(yǔ)義規(guī)定每個(gè)字段代表什么含義比如某個(gè)標(biāo)志位為1表示數(shù)據(jù)結(jié)束時(shí)序規(guī)定事件發(fā)生的順序比如先建立連接再傳數(shù)據(jù)傳完數(shù)據(jù)再斷開。舉個(gè)例子一個(gè)最簡(jiǎn)單的HTTP GET請(qǐng)求報(bào)文長(zhǎng)這樣GET /index.html HTTP/1.1\r\n Host: www.example.com\r\n \r\n這串文本就是一個(gè)應(yīng)用層協(xié)議的具體體現(xiàn)。GET是方法/index.html是路徑HTTP/1.1是版本號(hào)\r\n是行結(jié)束符。服務(wù)器看到這串文本就能明白客戶端想要什么并按照同樣的規(guī)則返回響應(yīng)。你可能會(huì)問(wèn)為什么是GET而不是拿因?yàn)閰f(xié)議必須是雙方都懂的語(yǔ)言它不依賴人的自然語(yǔ)言而是依賴文檔規(guī)范?；ヂ?lián)網(wǎng)上大量協(xié)議的標(biāo)準(zhǔn)定義在RFC文檔里任何人都能查閱和實(shí)現(xiàn)。所以請(qǐng)記住這句話網(wǎng)絡(luò)編程的核心是把你對(duì)“通信過(guò)程的想象”變成雙方都能理解的協(xié)議。代碼只是協(xié)議的載體API只是敲門磚。2. 分層模型協(xié)議世界的地基2.1 為什么協(xié)議非得分層不能一個(gè)大包如果從頭設(shè)計(jì)一套跨主機(jī)通信方案你會(huì)發(fā)現(xiàn)要處理的問(wèn)題實(shí)在太多。要尋址要路由要保證數(shù)據(jù)不丟要處理亂序要流控還要區(qū)分不同應(yīng)用。把所有邏輯塞進(jìn)一個(gè)協(xié)議結(jié)果就是一個(gè)巨型怪物任何一個(gè)環(huán)節(jié)要升級(jí)整個(gè)協(xié)議都得推翻任何一個(gè)地方出錯(cuò)排查范圍就是海量的。分層是解決這種復(fù)雜度的經(jīng)典手段。你可以把整個(gè)通信過(guò)程按職責(zé)拆成幾個(gè)相對(duì)獨(dú)立的層每一層只干一件明確的事層與層之間通過(guò)標(biāo)準(zhǔn)接口對(duì)接。生活中最典型的就是快遞系統(tǒng)。商家不關(guān)心快遞員怎么運(yùn)輸快遞員不關(guān)心包裹里裝的是什么倉(cāng)庫(kù)工人只負(fù)責(zé)分揀和貼單。每一層的職責(zé)都足夠單純也可以獨(dú)立更換——比如商家換了包裝盒快遞公司完全不需要知道。網(wǎng)絡(luò)協(xié)議棧的設(shè)計(jì)思路正是這樣。通過(guò)分層每一層可以獨(dú)立演化物理層從以太網(wǎng)換成WiFi、從銅線換成光纖應(yīng)用層的HTTP和SSH完全感知不到變化。排錯(cuò)也因此有了明確方向鏈路層的問(wèn)題查MAC地址和交換機(jī)網(wǎng)絡(luò)層的問(wèn)題查IP和路由傳輸層的問(wèn)題查端口和連接狀態(tài)應(yīng)用層的問(wèn)題查報(bào)文格式和業(yè)務(wù)邏輯。2.2 先記TCP/IP四層暫緩OSI七層很多初學(xué)者一上來(lái)就被“OSI七層模型”勸退。但現(xiàn)實(shí)中真正落地的是TCP/IP協(xié)議族它的分層方式和OSI并不完全一致。與其死記七層的抽象概念不如先建立TCP/IP四層模型這張圖分層核心職責(zé)代表協(xié)議尋址方式應(yīng)用層為具體應(yīng)用提供數(shù)據(jù)語(yǔ)義HTTP、FTP、SSH、DNS無(wú)固定尋址靠協(xié)議內(nèi)部字段傳輸層端到端的可靠傳輸區(qū)分具體應(yīng)用TCP、UDP端口號(hào)網(wǎng)絡(luò)層跨網(wǎng)絡(luò)的主機(jī)尋址與路由IP、ICMPIP地址鏈路層物理網(wǎng)絡(luò)內(nèi)的幀傳輸以太網(wǎng)、WiFi、VLANMAC地址你只需要先記住這個(gè)四層模型就夠了。應(yīng)用層處理“數(shù)據(jù)是什么”傳輸層處理“數(shù)據(jù)交給哪個(gè)進(jìn)程”網(wǎng)絡(luò)層處理“數(shù)據(jù)去哪臺(tái)機(jī)器”鏈路層處理“數(shù)據(jù)怎么在網(wǎng)線上跑”。OSI七層里的會(huì)話層、表示層在實(shí)際的TCP/IP體系里基本被合并進(jìn)應(yīng)用層初學(xué)階段暫時(shí)搞不清楚沒(méi)關(guān)系等以后分析具體協(xié)議時(shí)再回頭看也不遲。有個(gè)細(xì)節(jié)值得留意鏈路層的以太網(wǎng)幀里有一個(gè)VLAN標(biāo)簽字段802.1Q用來(lái)標(biāo)記幀屬于哪個(gè)虛擬局域網(wǎng)。如果你在公司網(wǎng)絡(luò)里抓包看到vlan 100之類的信息這就是鏈路層在干活跟我們常說(shuō)的IP地址不在同一個(gè)層面。2.3 從發(fā)送到接收數(shù)據(jù)包的封裝與解封裝分層模型在數(shù)據(jù)流動(dòng)中體現(xiàn)得最直觀。假設(shè)你在瀏覽器里敲下http://www.example.com并回車數(shù)據(jù)是這樣從上往下走的應(yīng)用層把HTTP請(qǐng)求報(bào)文交給傳輸層傳輸層的TCP在報(bào)文前面加上一個(gè)TCP頭這個(gè)頭里最關(guān)鍵的是源端口和目的端口比如源端口隨機(jī)分配一個(gè)49152目的端口是80。接著網(wǎng)絡(luò)層的IP在TCP頭前面再加一個(gè)IP頭里面寫入源IP和目的IP。最后鏈路層把整個(gè)IP數(shù)據(jù)報(bào)再包成以太網(wǎng)幀加上目標(biāo)MAC地址、源MAC地址和幀尾的校驗(yàn)序列然后把這一串比特通過(guò)網(wǎng)線或WiFi發(fā)出去。接收方收到數(shù)據(jù)后做相反的操作。鏈路層收幀、校驗(yàn)、去掉幀頭幀尾把IP數(shù)據(jù)報(bào)交給網(wǎng)絡(luò)層網(wǎng)絡(luò)層解析IP頭看到目的IP是本機(jī)就把TCP段上交傳輸層傳輸層檢查端口號(hào)發(fā)現(xiàn)是80再把數(shù)據(jù)交給監(jiān)聽80端口的進(jìn)程。這個(gè)過(guò)程叫解封裝。這里有個(gè)核心觀點(diǎn)每一層只關(guān)心自己的頭部信息不解析上層的內(nèi)容。就好比快遞員只認(rèn)面單上的收件地址絕不拆開包裹看你買的是什么東西。這個(gè)“越界”概念特別重要以后你用tcpdump抓包看到一幀數(shù)據(jù)里包含以太網(wǎng)頭、IP頭、TCP頭、應(yīng)用數(shù)據(jù)四層嵌套就會(huì)瞬間理解封裝與解封裝在物理世界里的樣子。3. IP、端口與Socket網(wǎng)絡(luò)編程的三塊基石3.1 IP地址找到那臺(tái)主機(jī)IP地址是網(wǎng)絡(luò)層尋址的核心它回答的問(wèn)題是“數(shù)據(jù)該發(fā)給哪臺(tái)主機(jī)”。類比生活里IP地址就是門牌號(hào)。IPv4地址是一個(gè)32位二進(jìn)制數(shù)習(xí)慣上寫成四個(gè)十進(jìn)制數(shù)比如192.168.1.100。一個(gè)局域網(wǎng)里的每臺(tái)設(shè)備都要有自己的IP地址否則交換機(jī)不知道數(shù)據(jù)幀該往哪個(gè)口送。在這個(gè)基礎(chǔ)上還有幾個(gè)概念要認(rèn)清。第一個(gè)是回環(huán)地址127.0.0.1它代表“本機(jī)自己”不管有沒(méi)有網(wǎng)卡它都能通。開發(fā)調(diào)試時(shí)用127.0.0.1最方便因?yàn)閿?shù)據(jù)不會(huì)真的跑到物理網(wǎng)絡(luò)上純粹在內(nèi)核里轉(zhuǎn)一圈就回來(lái)了。第二個(gè)是私網(wǎng)地址常見的有10.x.x.x、172.16.x.x到172.31.x.x、192.168.x.x。私網(wǎng)地址只能在內(nèi)網(wǎng)使用不能直接上公網(wǎng)。家用路由器給手機(jī)、電腦分配的通常都是192.168.x.x這類地址設(shè)備要訪問(wèn)互聯(lián)網(wǎng)路由器會(huì)做NAT網(wǎng)絡(luò)地址轉(zhuǎn)換把私網(wǎng)地址映射成公網(wǎng)地址。IPv4的總地址數(shù)約43億在全球互聯(lián)網(wǎng)面前早就捉襟見肘所以有了IPv6用128位地址徹底解決了數(shù)量問(wèn)題。寫網(wǎng)絡(luò)程序時(shí)函數(shù)要優(yōu)先考慮同時(shí)支持IPv4和IPv6比如用getaddrinfo而不是老舊的gethostbyname。不過(guò)初學(xué)階段先在IPv4上跑通再去接觸IPv6會(huì)更容易上手。3.2 端口號(hào)找到那個(gè)進(jìn)程有了IP地址你可以找到一臺(tái)主機(jī)但主機(jī)上同時(shí)跑著幾十上百個(gè)進(jìn)程。你連上服務(wù)器到底是要把數(shù)據(jù)交給Web服務(wù)器、SSH服務(wù)還是數(shù)據(jù)庫(kù)這就輪到端口號(hào)登場(chǎng)。端口號(hào)是傳輸層用16位二進(jìn)制數(shù)標(biāo)識(shí)的范圍從0到65535它回答的問(wèn)題是“數(shù)據(jù)該交給這臺(tái)機(jī)器上的哪個(gè)進(jìn)程”。常見端口要記幾個(gè)22是SSH80是HTTP443是HTTPS3306是MySQL6379是Redis。0到1023范圍通常需要管理員權(quán)限才能監(jiān)聽1024到49151是可以自由使用的注冊(cè)端口49152到65535一般用于動(dòng)態(tài)分配?？蛻舳税l(fā)起連接時(shí)系統(tǒng)會(huì)自動(dòng)分配一個(gè)臨時(shí)端口作為源端口服務(wù)端收到的報(bào)文里源IP和源端口就是客戶端的身份標(biāo)識(shí)。一臺(tái)服務(wù)器可以同時(shí)監(jiān)聽多個(gè)端口比如同一臺(tái)機(jī)器上開著Nginx80、MySQL3306、Redis6379。而一個(gè)端口同一時(shí)刻只能被一個(gè)監(jiān)聽套接字占用這是新手一定會(huì)踩的坑后面專門講。識(shí)別一條連接需要五個(gè)要素源IP、源端口、目的IP、目的端口、協(xié)議類型TCP還是UDP網(wǎng)絡(luò)領(lǐng)域管這叫五元組。3.3 Socket用戶程序與內(nèi)核協(xié)議棧之間的門說(shuō)完IP和端口終于來(lái)到Linux網(wǎng)絡(luò)編程的核心對(duì)象Socket。Socket可以理解成“應(yīng)用程序訪問(wèn)網(wǎng)絡(luò)協(xié)議棧的大門”。你寫的程序是用戶態(tài)進(jìn)程協(xié)議棧是內(nèi)核的一部分兩者之間靠Socket這座橋連接。創(chuàng)建Socket后內(nèi)核會(huì)在協(xié)議棧里幫你分配一套收發(fā)緩沖區(qū)、狀態(tài)標(biāo)記和隊(duì)列并返回一個(gè)文件描述符給你。這里要強(qiáng)調(diào)一個(gè)容易混淆的點(diǎn)Socket不是協(xié)議它是API是操作系統(tǒng)暴露給用戶的網(wǎng)絡(luò)入口。你通過(guò)這個(gè)入口調(diào)用內(nèi)核的協(xié)議棧能力。Linux里一切皆文件Socket也不例外的體現(xiàn)為文件描述符所以你能用read、write來(lái)收發(fā)數(shù)據(jù)也能用close來(lái)關(guān)閉連接。創(chuàng)建Socket時(shí)最典型的三類參數(shù)地址族類型說(shuō)明AF_INETSOCK_STREAM基于IPv4的TCP流式套接字AF_INETSOCK_DGRAM基于IPv4的UDP數(shù)據(jù)報(bào)套接字AF_UNIXSOCK_STREAM本機(jī)進(jìn)程間通信的本地套接字TCP用流式Socket因?yàn)門CP天然是字節(jié)流有連接、可靠、按序UDP用數(shù)據(jù)報(bào)Socket每個(gè)報(bào)文獨(dú)立沒(méi)有連接概念適合音視頻等允許少量丟失的場(chǎng)景。初學(xué)階段把TCP的Socket流程跑熟再回頭看UDP會(huì)輕松很多。記住這句話Socket是門IP是門牌端口是門后面的房間號(hào)協(xié)議棧是整棟大樓。4. 寫代碼前先練手用Linux命令觸摸協(xié)議4.1 ss與netstat看一眼當(dāng)前連接狀態(tài)不少人的第一反應(yīng)是上來(lái)寫代碼但我建議先學(xué)會(huì)用命令觀察網(wǎng)絡(luò)狀態(tài)。Linux系統(tǒng)里最常用的連接查看命令是ss舊一點(diǎn)的系統(tǒng)用netstat。運(yùn)行下面的命令ss -tan-t只看TCP-a看所有狀態(tài)的連接-n跳過(guò)域名解析直接顯示IP和端口。輸出大致長(zhǎng)這樣State Recv-Q Send-Q Local Address:Port Peer Address:Port LISTEN 0 128 0.0.0.0:22 0.0.0.0:* ESTAB 0 0 192.168.1.100:22 192.168.1.50:52314 TIME_WAIT 0 0 192.168.1.100:22 192.168.1.80:50112這些狀態(tài)詞就是TCP協(xié)議的狀態(tài)機(jī)LISTEN表示這個(gè)端口正在被某個(gè)進(jìn)程監(jiān)聽等待客戶端連接ESTABESTABLISHED表示一條TCP連接已經(jīng)建立雙方可以收發(fā)數(shù)據(jù)TIME_WAIT表示主動(dòng)關(guān)閉連接的一方在等待一段時(shí)間確保遲到的報(bào)文在網(wǎng)絡(luò)中消亡后才能徹底釋放端口。初學(xué)者看到一堆TIME_WAIT別慌這是正常現(xiàn)象系統(tǒng)會(huì)在大約60秒后回收這些連接。如果你想知道某個(gè)端口被誰(shuí)占用了用這個(gè)組合sudo ss -tlnp | grep 8080-p參數(shù)能顯示占用端口的進(jìn)程PID和名字。排查“端口被占用”這類問(wèn)題時(shí)這條命令比翻代碼管用得多。我見過(guò)太多次新手以為bind失敗是代碼寫錯(cuò)了其實(shí)完全是上一個(gè)進(jìn)程沒(méi)退干凈。4.2 tcpdump抓到真正的報(bào)文看看理論知識(shí)說(shuō)得再多都不如親眼看一次數(shù)據(jù)包來(lái)得通透。tcpdump是Linux下最經(jīng)典的抓包工具它把經(jīng)過(guò)網(wǎng)卡的真實(shí)報(bào)文打印出來(lái)。抓TCP連接的過(guò)程比如我們后面要跑的服務(wù)器監(jiān)聽8888端口可以這么抓sudo tcpdump -i any -nn tcp port 8888-i any抓所有網(wǎng)卡-nn不解析域名和端口名tcp port 8888只抓TCP協(xié)議且端口匹配8888的包。運(yùn)行后發(fā)起一次連接你會(huì)看到類似這樣的輸出14:23:01.111111 IP 127.0.0.1.50000 127.0.0.1.8888: Flags [S], seq 1000 14:23:01.111222 IP 127.0.0.1.8888 127.0.0.1.50000: Flags [S.], seq 2000, ack 1001 14:23:01.111333 IP 127.0.0.1.50000 127.0.0.1.8888: Flags [.], ack 2001Flags [S]是SYN報(bào)文表示“我想建立連接”[S.]是SYNACK表示“同意你的連接請(qǐng)求”[.]是純ACK表示“收到你的確認(rèn)”。這三個(gè)包就是TCP三次握手的完整流程。第一次抓包看不懂沒(méi)關(guān)系先混個(gè)眼熟知道協(xié)議真的是以這么直白的形式在網(wǎng)上跑就比很多只寫CRUD的開發(fā)者高一個(gè)level了。抓包也可以保存成文件交給Wireshark做可視化分析sudo tcpdump -i any -w /tmp/capture.pcap tcp port 88884.3 ping與traceroute驗(yàn)證連通性和路由路徑再介紹兩個(gè)網(wǎng)絡(luò)層工具。ping用來(lái)驗(yàn)證目標(biāo)主機(jī)通不通原理是發(fā)送ICMP回顯請(qǐng)求ping -c 4 www.example.com輸出會(huì)顯示每個(gè)ICMP報(bào)文的往返時(shí)間RTT和TTL。RTT大說(shuō)明網(wǎng)絡(luò)鏈路慢TTL值則能間接看出經(jīng)過(guò)了多少跳路由器。如果你剛配置完Linux網(wǎng)絡(luò)環(huán)境第一件事就應(yīng)該是ping一下網(wǎng)關(guān)確認(rèn)本機(jī)不在“孤立島”上。traceroute更進(jìn)一步它打印出數(shù)據(jù)包從本地到目標(biāo)主機(jī)經(jīng)過(guò)的每一跳路由器地址traceroute www.example.com這個(gè)工具的原理是利用IP頭里的TTL字段第一次發(fā)一個(gè)TTL為1的報(bào)文第一跳路由器收到后發(fā)現(xiàn)TTL過(guò)期返回一個(gè)ICMP超時(shí)報(bào)文于是客戶端就知道第一跳是誰(shuí)然后TTL加1依次探測(cè)第二跳、第三跳。每次上網(wǎng)卡頓我用ping判斷是不是鏈路問(wèn)題用traceroute定位卡在哪一跳順序清晰效率也高。5. 實(shí)戰(zhàn)寫一個(gè)最小的TCP回聲服務(wù)5.1 環(huán)境準(zhǔn)備與整體思路接下來(lái)的例子需要一臺(tái)Linux環(huán)境以及gcc編譯器。如果沒(méi)有最簡(jiǎn)單的辦法是裝個(gè)虛擬機(jī)或者在Windows上啟用WSL。注意虛擬機(jī)默認(rèn)使用NAT網(wǎng)絡(luò)模式外部機(jī)器不能直接訪問(wèn)虛擬機(jī)的某個(gè)端口這會(huì)影響到后面聯(lián)調(diào)具體在第6章展開。這個(gè)demo的目標(biāo)極簡(jiǎn)一個(gè)服務(wù)端監(jiān)聽8888端口接受一個(gè)客戶端連接客戶端連上后發(fā)送一串字符串服務(wù)端收到后原樣返回。它不處理并發(fā)、不做協(xié)議解析、不考慮性能就是一個(gè)能跑通的最小閉環(huán)讓你在動(dòng)手層面感受完整流程socket、bind、listen、accept、connect、read、write、close。這不僅僅是“跑通就完事”整個(gè)過(guò)程中的每個(gè)系統(tǒng)調(diào)用都會(huì)讓你確認(rèn)前面講的分層模型和協(xié)議狀態(tài)是真實(shí)存在的。5.2 服務(wù)端socket、bind、listen、accept四件套下面是最簡(jiǎn)單的TCP服務(wù)端代碼保存為server.c#include stdio.h #include stdlib.h #include string.h #include unistd.h #include arpa/inet.h #define PORT 8888 #define BACKLOG 5 int main() { int server_fd, client_fd; struct sockaddr_in server_addr, client_addr; socklen_t addr_len sizeof(client_addr); char buffer[1024]; // 1. 創(chuàng)建TCP套接字 server_fd socket(AF_INET, SOCK_STREAM, 0); if (server_fd 0) { perror(socket); exit(EXIT_FAILURE); } // 2. 允許地址復(fù)用避免TIME_WAIT導(dǎo)致bind失敗 int opt 1; setsockopt(server_fd, SOL_SOCKET, SO_REUSEADDR, opt, sizeof(opt)); // 3. 綁定IP和端口 memset(server_addr, 0, sizeof(server_addr)); server_addr.sin_family AF_INET; server_addr.sin_addr.s_addr htonl(INADDR_ANY); server_addr.sin_port htons(PORT); if (bind(server_fd, (struct sockaddr *)server_addr, sizeof(server_addr)) 0) { perror(bind); exit(EXIT_FAILURE); } // 4. 開始監(jiān)聽 if (listen(server_fd, BACKLOG) 0) { perror(listen); exit(EXIT_FAILURE); } printf(server listening on port %d\n, PORT); // 5. 接受客戶端連接此處阻塞 client_fd accept(server_fd, (struct sockaddr *)client_addr, addr_len); if (client_fd 0) { perror(accept); exit(EXIT_FAILURE); } char *client_ip inet_ntoa(client_addr.sin_addr); printf(client connected: %s:%d\n, client_ip, ntohs(client_addr.sin_port)); // 6. 接收數(shù)據(jù)原樣返回 ssize_t len read(client_fd, buffer, sizeof(buffer) - 1); if (len 0) { buffer[len] \0; printf(received: %s\n, buffer); const char *msg hello from server; write(client_fd, msg, strlen(msg)); } close(client_fd); close(server_fd); return 0; }逐行看幾個(gè)關(guān)鍵點(diǎn)。socket(AF_INET, SOCK_STREAM, 0)創(chuàng)建的是IPv4的TCP套接字。AF_INET是地址族SOCK_STREAM表示流式傳輸0讓內(nèi)核自動(dòng)選TCP協(xié)議。bind負(fù)責(zé)把套接字綁定到一個(gè)具體的IP和端口上。為什么需要htons(PORT)因?yàn)槎丝谔?hào)在網(wǎng)絡(luò)傳輸中要用大端字節(jié)序而x86等小端機(jī)器內(nèi)部是小端htons把主機(jī)字節(jié)序轉(zhuǎn)成網(wǎng)絡(luò)字節(jié)序。同樣htonl(INADDR_ANY)是因?yàn)镮NADDR_ANY表示“綁定本機(jī)所有可用IP”也需要轉(zhuǎn)成網(wǎng)絡(luò)字節(jié)序。listen(server_fd, BACKLOG)讓套接字進(jìn)入監(jiān)聽狀態(tài)BACKLOG是未完成連接隊(duì)列的最大長(zhǎng)度。accept是阻塞調(diào)用沒(méi)有客戶端連上來(lái)時(shí)進(jìn)程停在這里不動(dòng)有連接到達(dá)后它返回一個(gè)新的套接字文件描述符client_fd這個(gè)新文件描述符才代表“當(dāng)前這個(gè)客戶端連接”原來(lái)的server_fd繼續(xù)作為監(jiān)聽者等待下一撥連接。這里很容易誤解不是accept返回的fd和監(jiān)聽fd同一個(gè)網(wǎng)絡(luò)程序里一個(gè)fd對(duì)應(yīng)一條連接連接結(jié)束fd就釋放。5.3 客戶端socket、connect、讀寫客戶端的代碼更短一些保存為client.c#include stdio.h #include stdlib.h #include string.h #include unistd.h #include arpa/inet.h #define PORT 8888 int main(int argc, char *argv[]) { if (argc ! 2) { printf(usage: %s server_ip\n, argv[0]); exit(EXIT_FAILURE); } int sock_fd; struct sockaddr_in server_addr; char buffer[1024]; // 1. 創(chuàng)建TCP套接字 sock_fd socket(AF_INET, SOCK_STREAM, 0); if (sock_fd 0) { perror(socket); exit(EXIT_FAILURE); } // 2. 設(shè)置服務(wù)器地址 memset(server_addr, 0, sizeof(server_addr)); server_addr.sin_family AF_INET; server_addr.sin_port htons(PORT); // 3. 把點(diǎn)分十進(jìn)制IP轉(zhuǎn)成二進(jìn)制 if (inet_pton(AF_INET, argv[1], server_addr.sin_addr) 0) { perror(inet_pton); exit(EXIT_FAILURE); } // 4. 發(fā)起連接內(nèi)核幫你完成三次握手 if (connect(sock_fd, (struct sockaddr *)server_addr, sizeof(server_addr)) 0) { perror(connect); exit(EXIT_FAILURE); } // 5. 發(fā)送數(shù)據(jù) const char *msg hello from client; write(sock_fd, msg, strlen(msg)); // 6. 讀取服務(wù)器返回的數(shù)據(jù) ssize_t len read(sock_fd, buffer, sizeof(buffer) - 1); if (len 0) { buffer[len] \0; printf(server says: %s\n, buffer); } close(sock_fd); return 0; }inet_pton把127.0.0.1這種字符串形式的IP轉(zhuǎn)成網(wǎng)絡(luò)字節(jié)序的二進(jìn)制結(jié)構(gòu)比老舊的inet_addr更安全。connect成功返回意味著三次握手已經(jīng)完成這是TCP非常關(guān)鍵的性質(zhì)連接是經(jīng)過(guò)雙方確認(rèn)的而不是客戶端單方面的幻想。connect之后TCP的序列號(hào)、窗口大小都已經(jīng)協(xié)商好可以直接收發(fā)數(shù)據(jù)。完整流程里客戶端不需要bind系統(tǒng)會(huì)自動(dòng)分配一個(gè)臨時(shí)端口不需要listen因?yàn)榭蛻舳瞬皇潜贿B接方。5.4 編譯、運(yùn)行、抓包驗(yàn)證三次握手編譯運(yùn)行g(shù)cc server.c -o server gcc client.c -o client ./server ./client 127.0.0.1服務(wù)端會(huì)打印client connected: 127.0.0.1:xxxxx客戶端會(huì)打印server says: hello from server。read和write在這個(gè)例子里用起來(lái)像操作文件一樣這也印證了Linux“一切皆文件”的設(shè)計(jì)哲學(xué)。Socket確實(shí)是文件描述符對(duì)連接的讀寫就是對(duì)文件描述符的讀寫。跑通了只是第一步建議你按上一節(jié)的方法開啟抓包再跑一次程序親眼看到SYN、SYNACK、ACK三個(gè)報(bào)文依次出現(xiàn)。這個(gè)步驟雖然瑣碎但效果非常好你會(huì)發(fā)現(xiàn)TCP握手不是一個(gè)抽象概念而是實(shí)實(shí)在在出現(xiàn)在網(wǎng)卡上的三個(gè)數(shù)據(jù)包。抓包時(shí)如果用-nn參數(shù)IP地址不會(huì)被解析成域名所以127.0.0.1會(huì)直接顯示方便對(duì)照。5.5 這個(gè)demo暴露出的問(wèn)題這個(gè)程序能跑但它極其簡(jiǎn)陋局限也很明顯第一它一次只能處理一個(gè)客戶端。accept之后如果第二個(gè)客戶端連上來(lái)誰(shuí)都不理它因?yàn)槌绦蛘枞诘谝粋€(gè)連接的read上。第二read是阻塞式的如果客戶端一直不發(fā)數(shù)據(jù)服務(wù)端就永遠(yuǎn)卡在那一行。第三收發(fā)沒(méi)有消息邊界如果客戶端連續(xù)發(fā)兩條消息服務(wù)端可能一次read讀完也可能分三次讀完怎么切分邊界需要應(yīng)用層協(xié)議來(lái)定義。這些不是代碼寫得不好而是所有TCP網(wǎng)絡(luò)程序都要面對(duì)的基礎(chǔ)問(wèn)題。處理它們要靠多線程、非阻塞IO、IO多路復(fù)用select/poll/epoll這些技術(shù)這是本系列后面幾個(gè)篇章的核心內(nèi)容?，F(xiàn)在先把這套流程跑通肚子里有了一張完整的圖再學(xué)那些高級(jí)玩法就有參照系了。6. 新手期最容易踩的四個(gè)坑6.1 bind報(bào)錯(cuò)Address already in use我敢說(shuō)每個(gè)寫TCP服務(wù)端的人都遇見過(guò)這個(gè)錯(cuò)誤。表現(xiàn)是第二次啟動(dòng)程序時(shí)bind返回失敗錯(cuò)誤信息為Address already in use。通常原因不是端口真的被別的服務(wù)占用了而是上一個(gè)程序正常退出了但TCP連接還在TIME_WAIT狀態(tài)系統(tǒng)要等約60秒才能釋放端口。TIME_WAIT產(chǎn)生的原因是被動(dòng)關(guān)閉連接的一方可能還有數(shù)據(jù)沒(méi)發(fā)完主動(dòng)關(guān)閉方要留出時(shí)間處理遲到的報(bào)文。解決這個(gè)問(wèn)題的標(biāo)準(zhǔn)做法就是我們?cè)诜?wù)端代碼里寫的那行setsockopt(server_fd, SOL_SOCKET, SO_REUSEADDR, opt, sizeof(opt))。這行代碼在bind之前設(shè)置告訴內(nèi)核即使有連接處于TIME_WAIT這個(gè)端口也可以立即重用。很多人把它當(dāng)模板抄卻不理解為什么這里必須說(shuō)清楚沒(méi)有它你每次調(diào)試都要干等一分鐘有它在你的開發(fā)體驗(yàn)會(huì)順暢很多。6.2 虛擬機(jī)里連不上別急著懷疑代碼如果你的服務(wù)端跑在虛擬機(jī)里客戶端從宿主機(jī)連接連不上是最常見的問(wèn)題。這里面的原因通常不是socket代碼而是虛擬機(jī)網(wǎng)絡(luò)模式。VMware默認(rèn)的NAT模式下虛擬機(jī)有自己獨(dú)立的NAT網(wǎng)段宿主機(jī)不能直接訪問(wèn)虛擬機(jī)。如果你要從宿主機(jī)連虛擬機(jī)的8888端口要么把網(wǎng)絡(luò)模式改為橋接bridge讓虛擬機(jī)和宿主機(jī)處于同一局域網(wǎng)要么配置NAT端口轉(zhuǎn)發(fā)。判斷問(wèn)題是不是出在網(wǎng)絡(luò)環(huán)境有一個(gè)很省事的辦法在虛擬機(jī)內(nèi)部自己連自己比如客戶端也跑在虛擬機(jī)里連127.0.0.1。如果能通說(shuō)明代碼沒(méi)有問(wèn)題剩下的就是網(wǎng)絡(luò)拓?fù)鋯?wèn)題。另外還要檢查L(zhǎng)inux防火墻某些發(fā)行版默認(rèn)開啟firewalld可以暫時(shí)關(guān)閉或者放行端口sudo systemctl stop firewalld不需要一上來(lái)就懷疑協(xié)議棧先看連通性再看端口監(jiān)聽最后看代碼這個(gè)排查順序能幫你省掉大量時(shí)間。6.3 數(shù)據(jù)收不齊TCP流式協(xié)議沒(méi)有消息邊界寫網(wǎng)絡(luò)程序最普遍的困惑就是為什么我的read讀出來(lái)的數(shù)據(jù)不完整或者一次性讀到了兩條消息。原因是TCP是流式協(xié)議它只保證字節(jié)按序到達(dá)但不保證字節(jié)的“組合方式”。你可以把TCP想成一根水管水連續(xù)地流你從水管里接水接多少取決于你拿杯子的時(shí)機(jī)而不是取決于誰(shuí)往水管里倒了多少水。應(yīng)用層如果不好好定義消息邊界就會(huì)出現(xiàn)粘包把兩條消息合成一條讀和半包一條消息被拆成兩次讀。解決思路有很多最常見的是這幾種固定長(zhǎng)度消息每條消息長(zhǎng)度一樣讀完一個(gè)長(zhǎng)度再讀下一個(gè)分隔符協(xié)議用\r\n或自定義分隔符切分消息長(zhǎng)度前綴每個(gè)消息前面用幾個(gè)字節(jié)聲明消息體長(zhǎng)度接收方先讀長(zhǎng)度再讀對(duì)應(yīng)長(zhǎng)度的正文。這已經(jīng)屬于應(yīng)用層協(xié)議設(shè)計(jì)的范疇第一篇文章不展開但你要先有這個(gè)意識(shí)光靠TCP自帶機(jī)制無(wú)法解決業(yè)務(wù)消息的分界問(wèn)題。6.4 單線程阻塞帶來(lái)的并發(fā)瓶頸最后一個(gè)坑也是從入門到進(jìn)階的必經(jīng)坎阻塞IO。accept會(huì)阻塞read會(huì)阻塞意味著一個(gè)單線程程序同一時(shí)間只能服務(wù)一個(gè)連接。很多新手在這里會(huì)把程序改成多線程為每個(gè)連接開一個(gè)線程但線程多了以后又有資源競(jìng)爭(zhēng)和上下文切換開銷所以業(yè)界主流做法是用IO多路復(fù)用select/poll/epoll配合非阻塞IO用少量線程管理大量連接。第一篇文章不談實(shí)現(xiàn)細(xì)節(jié)只給你一個(gè)宏觀認(rèn)知網(wǎng)絡(luò)編程的下半場(chǎng)是從“能通”走向“能扛”的過(guò)程。當(dāng)你的程序從單連接進(jìn)化到支持成千上萬(wàn)并發(fā)連接時(shí)你對(duì)epoll、事件驅(qū)動(dòng)、用戶態(tài)協(xié)議棧這些詞的理解就會(huì)完全不一樣?，F(xiàn)在先把單連接的demo吃透后面的路一步一步走。我當(dāng)年第一次把這個(gè)demo跑通時(shí)興沖沖給一臺(tái)遠(yuǎn)程服務(wù)器發(fā)消息結(jié)果客戶端一直卡住不動(dòng)最后發(fā)現(xiàn)是對(duì)端根本沒(méi)啟動(dòng)服務(wù)而不是代碼問(wèn)題。從那以后我養(yǎng)成了一個(gè)習(xí)慣先抓包、再猜原因。這個(gè)習(xí)慣一直用到現(xiàn)在。如果你也是剛邁進(jìn)Linux網(wǎng)絡(luò)編程的門檻建議把tcpdump這類工具用熟讓真實(shí)的數(shù)據(jù)包成為你排查問(wèn)題的第一依據(jù)。等腦子里有了這張協(xié)議運(yùn)行的全局圖再看后續(xù)的并發(fā)處理、非阻塞IO、epoll一切都會(huì)順理成章。