準備AI Infra方向面試的朋友最容易在算法和訓練框架上侃侃而談但一被問到AI集群網絡基礎就容易露怯。不是大家不努力而是網絡這塊知識太散了——今天背了個RDMA概念明天又看到一堆InfiniBand、RoCE、PFC、ECN的縮寫沒有一條主線串起來面試就答不到點子上。我自己當年面AI Infra崗位時也在這上面栽過跟頭。后來在千卡集群上踩了一年的坑重新梳理才發(fā)現(xiàn)AI集群網絡其實有一套非常清晰的邏輯核心就是分布式訓練到底給網絡提了什么需求網絡又是怎么滿足這些需求的。這篇文章就是基于這條主線把AI Infra面試中最?？嫉木W絡基礎知識整理成一份可以系統(tǒng)復習的提綱。適合準備AI Infra、計算集群、MLOps相關崗位面試的工程師也適合剛接觸集群網絡想快速建立框架的人。1. 為什么AI Infra面試必考網絡1.1 AI Infra工程師日常繞不開三件事AI Infra這個崗位在招聘JD里經常寫得云里霧里但實際工作內容我概括成三件事讓訓練跑起來、讓訓練跑得更快、讓集群更穩(wěn)定。第一件事靠部署能力和框架配置第二件事靠性能分析和調優(yōu)第三件事靠監(jiān)控、容錯和故障恢復。這三件事每一件都繞不開網絡。訓練能跑起來至少需要理解分布式訓練框架是怎么把模型拆到多張卡上的拆完之后梯度同步走什么通信原語跑得更快需要定位算力瓶頸和通信瓶頸而通信瓶頸大概率出在網絡上集群穩(wěn)定則要面對網卡故障、交換機丟包、鏈路閃斷這些每天都在發(fā)生的小事。所以一個合格的AI Infra工程師說到底是半個網絡工程師。這也是面試官愛問網絡基礎的根本原因。1.2 算力越強網絡越容易成為性能天花板很多人對網絡的重要性沒有體感是因為單機單卡的訓練根本不需要網絡。但到了大模型時代情況完全不同。一個千億參數(shù)的模型光參數(shù)和梯度就要按TB量級來算單卡肯定裝不下必須做各種并行。數(shù)據(jù)并行要求每輪迭代后把所有GPU的梯度匯總模型并行要求把中間激活值在各層之間傳來傳去專家并行則更夸張每個token可能都要跨節(jié)點訪問專家模塊。這些通信操作的時間通常能占到整個訓練迭代的10%到40%。GPU算力不斷增強以后這一點越來越刺眼。A100的算力提升后計算一個batch的時間縮短了通信時間卻沒法同步縮短整體訓練速度就被通信主導。我在實際集群里見過不少次這種情況訓練loss曲線看上去很正常但GPU利用率只有40%一查NCCL profiling發(fā)現(xiàn)大量時間卡在網絡等待上。這種問題不從網絡角度分析單靠調訓練參數(shù)不可能解決。面試官專門拿網絡來篩人非常合理。1.3 面試官考察的三個真實維度根據(jù)我面別人和被別人面下來的經驗面試官問網絡基礎主要考察三個維度這三個維度也可以當作復習主線。第一概念是否清晰那些縮寫和術語之間的邊界能不能講明白這決定了基礎知識扎不扎實。第二能不能從分布式訓練的需求推導出網絡設計的邏輯而不是背答案這決定了你是不是真的理解了系統(tǒng)。第三面對訓練慢通信卡死這類實際故障時能不能沿著網絡鏈路逐層排查這決定了你有沒有實戰(zhàn)能力。后面幾個章節(jié)基本就是圍繞這三個維度展開的。2. 先建地圖AI集群網絡到底分幾層2.1 從單機多卡到跨機通信速度斷崖第1章說網絡重要但很多人沒意識到最核心的差距在哪。單機內多卡通信走的是PCIe或NVLink。NVLink的本質是GPU之間專用的高速總線目前主流H100平臺的NVLink帶寬能到900GB/s這個速度接近內存訪問級別。而網絡通信走網卡當前主流是400Gbps換算下來是50GB/s。也就是說單機內通信和跨機通信之間隔了一個數(shù)量級這是所有分布式系統(tǒng)設計都要面對的根本約束。這個差距帶來連鎖反應能放在單機內完成的數(shù)據(jù)交換盡量不跨機但模型規(guī)模上去以后跨機通信又無法避免。所以AI集群網絡的目標非常明確盡量把跨機通信的帶寬做大、時延做低同時讓通信模式和拓撲匹配減少不必要的跨跳數(shù)。理解了這條主線后面所有知識點就能串起來。2.2 一套集群三張網計算、存儲、管理在真實AI集群機房走一圈你會發(fā)現(xiàn)物理上并不只有一套網絡。邏輯上至少分三張計算網絡承載GPU之間的訓練通信流量這是最高性能的網絡普遍用InfiniBand或RoCE帶寬以400G為主流存儲網絡承載數(shù)據(jù)集讀取和checkpoint落盤對帶寬要求高但時延容忍度稍高管理網絡承載帶外BMC、監(jiān)控、控制指令帶寬需求小普通以太網就可以。這三個平面很容易在面試中忽略但有個很好的延伸考點checkpoint寫入存儲網絡時如果存儲網絡帶寬不足會造成GPU空等這種隱性瓶頸在長訓練任務里非常常見?；卮鸺豪镉心男┚W絡時把計算、存儲、管理講清楚再補一句存儲網絡在checkpoint頻繁場景下的重要性會讓面試官覺得你有實戰(zhàn)意識。2.3 帶寬、時延、BDP與對分帶寬四件套面試基礎題里帶寬和時延是絕對高頻。我建議用一句話說清區(qū)別帶寬是單位時間能運多少貨時延是貨從出發(fā)到到達要多久。兩者不矛盾但容易混淆。舉例來說一輛貨車走高速公路時延低但帶寬也就一條車道如果換成大車隊開同樣的路帶寬大了第一輛車到達的時間卻不會更快。通信時間 數(shù)據(jù)量 / 帶寬 時延 × 交互次數(shù)這個公式在面試里很常用建議背下來并理解每一項的實際含義。BDP帶寬時延積稍微進階一點它的意義是在等待返回消息的那段時間里鏈路上能容納多少數(shù)據(jù)。如果這個值很大說明網絡很容易被打滿需要足夠的并發(fā)流和緩沖區(qū)來利用帶寬。對分帶寬則是衡量網絡最壞情況下的通信能力把網絡切成兩半兩側之間的總帶寬。在評估網絡拓撲是否會導致?lián)砣麜r對分帶寬是核心指標。這四個概念講清楚基礎關基本就過了。3. 集合通信AI訓練最核心的網絡負載3.1 為什么面試一定要考AllReduce如果要我押一道AI Infra面試必考題我會押AllReduce。原因很簡單數(shù)據(jù)并行訓練里每個GPU獨立算出一份梯度但在更新模型參數(shù)之前所有GPU必須拿到所有梯度的平均值這個操作就是AllReduce。它出現(xiàn)在每一次迭代里頻率極高數(shù)據(jù)量極大。這里要強調的是AllReduce不只是一個操作它背后帶出一整套思考方式這種所有節(jié)點到所有節(jié)點的通信模式不能簡單理解為多發(fā)幾次點對點通信因為點對點會產生嚴重的流量擁塞。設計上要考慮如何把全網流量打散到各條鏈路上如何讓每個節(jié)點都承擔相近的收發(fā)量如何減少總通信時間。面試官問到AllReduce其實是在問你能不能從通信模式出發(fā)思考網絡設計而不是停留在API層面。3.2 Ring AllReduce的原理、時間推導和局限Ring AllReduce是數(shù)據(jù)并行里最常見的實現(xiàn)方式。思路是把所有GPU排成一個邏輯環(huán)每個GPU只向相鄰的GPU收發(fā)數(shù)據(jù)。整個過程分兩步第一步是Reduce-Scatter把數(shù)據(jù)切成N份每一份在環(huán)上接力式做求和最終每個GPU持有其中一份的完整結果第二步是AllGather每個GPU把自己持有的那一份廣播給所有人最終每個GPU都拿到了全套均值。時間上每個分片從出發(fā)到完成規(guī)約大約需要經過N-1次傳輸考慮到并行流水線整體耗時近似為總數(shù)據(jù)量的兩倍除以帶寬再乘上一個與拓撲相關的系數(shù)。這個兩倍就是所有數(shù)據(jù)被傳輸了兩次一次規(guī)約一次廣播。Ring的優(yōu)雅之處在于每個節(jié)點都只和鄰居通信不會出現(xiàn)單點熱點但代價是時延隨環(huán)長線性增加。所以超大規(guī)模集群更傾向用分層AllReduce、Tree AllReduce甚至把數(shù)據(jù)切成多個分段同時做多環(huán)并行。面試中能順勢說出Ring在卡數(shù)多時時延不好業(yè)界會用層級化方案來優(yōu)化相當加分。3.3 集合通信原語和并行策略的映射關系除了AllReduce集合通信還有幾個原語值得記熟。AllGather是每個節(jié)點把自己持有的數(shù)據(jù)廣播給所有人數(shù)據(jù)總量隨節(jié)點數(shù)線性增長Reduce-Scatter是每個節(jié)點先本地規(guī)約再分散傳輸最終每個節(jié)點得到部分結果Broadcast是單源到多目的Send/Recv則是點對點。這些原語看似基礎卻是理解各種并行策略的關鍵。數(shù)據(jù)并行主線是AllReduce但用了梯度分片技術之后其實可以拆成Reduce-Scatter AllGather張量并行和流水線并行里大量使用Send/Recv和AllGather專家并行的token路由則會產生大量稀疏的All-to-All流量。能把這層映射說清楚面試官會知道你不僅知道概念還知道它們在真實訓練里怎么用。3.4 NCCL框架和硬件之間的翻譯官講到集合通信一定會提到NCCLNVIDIA Collective Communications Library。它是英偉達提供的集合通信庫PyTorch DDP底層基本都走它。NCCL的作用是感知GPU拓撲選擇最優(yōu)的通信路徑和算法常見因素包括GPU是否在同一PCIe switch下、是否同一機架、是否走IB網絡。實際排障時NCCL的日志和環(huán)境變量也很重要。NCCL_DEBUGINFO會輸出通信路徑和拓撲信息NCCL_IB_DISABLE1可以強制走以太網遇到鏈路問題這些開關能快速定位。面試中談到NCCL能舉出這類實操細節(jié)非常加分。4. IB與RoCE v2面試高頻的協(xié)議選型對比4.1 InfiniBand為什么是省心方案InfiniBand是HPC領域沉淀多年的高性能網絡技術。它從設計之初目標就很明確為分布式計算提供高帶寬、低時延、無損的網絡。它的做法是全棧專用從網卡、交換機、線纜到協(xié)議都考慮了高性能和高可靠性還專門有子網管理器負責路由計算和故障恢復。實際使用IB的體驗是穩(wěn)定鏈路一旦up帶寬基本能跑滿很少出現(xiàn)傳統(tǒng)網絡里讓人頭疼的丟包重傳問題。缺點也非常明顯貴、閉環(huán)、學習門檻高而且IB世界的很多知識在通用數(shù)據(jù)中心里用不上。但要是公司追求訓練性能上限運維團隊又有經驗IB仍然是不錯的選擇。4.2 RoCE v2把RDMA搬進傳統(tǒng)以太網RoCE的全稱是RDMA over Converged Ethernetv2版本使用IP/UDP封裝可以跨越三層網絡和傳統(tǒng)以太網設施兼容。它的最大價值是普通交換機也能支撐RDMA級別的通信成本大幅下降。在互聯(lián)網公司里RoCE 白盒交換機的方案相當流行原因就是改造現(xiàn)有數(shù)據(jù)中心網絡的成本遠低于新建一套IB網絡。但天下沒有免費的午餐。RoCE的核心挑戰(zhàn)是以太網本身是有損網絡而RDMA對丟包極度敏感一個微小丟包就可能導致重傳風暴、帶寬斷崖。為應對這個問題RoCE網絡必須依賴PFC、ECN、智能網卡等機制把有損網絡偽裝成無損。這套機制調好了RoCE能接近IB的性能調不好就是各種PFC風暴、網絡卡死非常消耗運維精力。4.3 IB與RoCE v2對比一張表說清差異復習時用對比表來記憶很高效這里也分享給你面試可以按這個框架組織語言維度InfiniBandRoCE v2設計理念全棧專用為HPC而生復用以太網生態(tài)的RDMA方案網絡層封裝自有協(xié)議棧IP/UDP封裝支持路由丟包控制原生無損硬件機制完善依賴PFC/ECN配置復雜成本設備貴生態(tài)封閉成本低兼容現(xiàn)有以太網運維復雜度相對低穩(wěn)定高需精細調優(yōu)典型場景超大規(guī)模HPC、頭部AI集群互聯(lián)網公司AI訓練推理集群回答選型題時不要直接說IB好或RoCE好而是先給出約束條件規(guī)模多大、預算多少、是否需要兼容現(xiàn)有設施、運維具備什么能力。在這個前提下給出傾向性更合理。比如三千卡以下、已有成熟以太網運維的團隊RoCE v2的綜合性價比通常更好追求極致性能和技術閉環(huán)則是IB方向。4.4 交換機和拓撲CLOS/Fat-Tree是主流網絡協(xié)議之外物理拓撲是另一塊必考內容。傳統(tǒng)數(shù)據(jù)中心常用三層樹形結構從上到下是核心、匯聚、接入但它的最大問題是上行帶寬容易不足流量越往上層越集中。AI集群要傳輸海量并行流量用這種結構會迅速擁塞?，F(xiàn)在主流是CLOS架構也叫脊葉架構。簡單理解Spine是骨干層Leaf是接入層每個Leaf都連接所有Spine任何Leaf之間通信最多三跳。好處是橫向擴展能力極強需要更大帶寬時往Spine層加交換機即可多路徑也讓流量能分散不容易出現(xiàn)單點瓶頸。面試常有一個追問怎么評估一個拓撲好不好回答方向就是對分帶寬和路徑數(shù)量。計算對分帶寬時從Leaf規(guī)模、Spine規(guī)模、端口速率推導。能在這個問題上給出計算思維很容易留下好印象。5. 擁塞控制與調優(yōu)AI集群最容易踩的坑5.1 AI流量模式和傳統(tǒng)網絡完全不同前面說過AI集群的流量是典型的周期性爆發(fā)加全集群同步。每次訓練迭代開始所有GPU幾乎同時發(fā)起集合通信一瞬間可能把交換機端口打滿形成微突發(fā)。傳統(tǒng)網絡里這種突發(fā)可以用TCP的重傳和緩沖吸收掉影響不大但在RDMA場景下丟包就是災難。這里必須拉出一個關鍵概念in-cast流量擁塞也就是多臺服務器同時向一臺交換機或一臺服務器發(fā)包造成瞬時過載。AllReduce的Gather階段就是典型的in-cast模式。面試里如果能主動說出AI流量是同步的、突發(fā)的、有模式的多對一流量和通用的任意到任意流量模型不同說明你真的理解問題本質。5.2 PFC、ECN這些機制該怎么答無損RDMA網絡背后有兩個機制必須掌握PFC和ECN。PFC優(yōu)先級流控的作用是當交換機緩沖區(qū)快滿時向上游設備發(fā)送暫停幀讓上游暫時停止發(fā)送從而不丟包。這像高速路上前方擁堵時交警攔住后方車輛。副作用是可能產生隊頭阻塞也就是一條流的暫停會卡住其他流嚴重時形成PFC風暴網絡癱瘓。成熟的RoCE網絡會把PFC觸發(fā)閾值設得很高并盡量靠其他機制避免觸發(fā)PFC。ECN顯式擁塞通知是更柔性的機制交換機檢測到擁塞時給報文打標記接收端感知后把擁塞信息反饋給發(fā)送端發(fā)送端主動降速。這就像導航軟件告訴你前方堵車你自主變道減速而不是交警硬攔。ECN配合RoCE v2的DCQCN算法可以實現(xiàn)比較平滑的擁塞控制。面試里能對比PFC和ECN的定位——PFC是兜底ECN是主動調節(jié)——再提一句兩者互操作不當可能引發(fā)的問題就是高手回答。5.3 訓練慢排查的實操路徑最后分享一個真實排障路徑面試同樣能用。遇到訓練變慢我的習慣是分四步第一步看GPU利用率如果GPU整體空等多半是通信瓶頸第二步看NCCL日志和profiling確認卡在哪個集合通信原語、哪一跳第三步看網絡監(jiān)控關注交換機端口流量、丟包計數(shù)、PFC觸發(fā)計數(shù)出現(xiàn)丟包基本能鎖定物理鏈路或擁塞參數(shù)問題第四步檢查光模塊光功率和線纜狀態(tài)很多通信慢的根因是光模塊衰耗過大引發(fā)大量重傳。這套路徑的價值在于把抽象問題拆成可執(zhí)行的排查動作。面試官問你如何排查訓練慢時可以按這個順序回答再補一句越是慢的問題越要從物理層看起因為配置型和物理型故障占了大多數(shù)。這句話是我實戰(zhàn)中的真實體會。6. 面試真題與答題思路速查6.1 基礎概念類快速過一遍準備面試時我會快速過一遍基礎題確保每道題能在30秒內答出要點。這里列幾道最?？嫉腞DMA是什么需要強調兩點直接內存訪問、繞過操作系統(tǒng)內核協(xié)議棧所以時延低、CPU占用低。NVLink和網絡的差別NVLink是GPU之間或GPU與CPU之間的高速總線作用范圍在單機內以太網或IB是跨機的。帶寬和時延的區(qū)別用運貨速度和到貨時間類比最直觀。對分帶寬怎么理解把網絡切成兩半后兩側之間的總帶寬用來衡量網絡最壞情況通信能力。這些題目本身不難但很多人答得散原因是沒形成框架。建議回答時先給一句話定義再補一個實際訓練場景里的例子比如AllReduce里最怕的就是帶寬不足所以對分帶寬直接影響擴展性這樣內容就立體了。6.2 原理推導類展現(xiàn)建模能力面試官可能會問數(shù)據(jù)并行下把卡數(shù)從128擴到512AllReduce通信時間怎么變很多人直接回答變慢四倍但正確的是分情況討論。Ring AllReduce里單節(jié)點分到的分片數(shù)據(jù)量等于總數(shù)據(jù)量除以卡數(shù)數(shù)據(jù)量大時擴展卡數(shù)單節(jié)點處理量反而減少但時延項會隨環(huán)長增加。還要考慮拓撲卡數(shù)增加往往意味著跨Spine流量變多擁塞加劇。所以準確的回答是需要從帶寬和時延兩個維度分開建模。這種定量加定性的回答方式很考察建模能力。面試官也經常設置變體比如如果換成AllGather呢AllGather是每個節(jié)點把自己的數(shù)據(jù)廣播給所有人數(shù)據(jù)量隨節(jié)點數(shù)線性增長那擴卡后通信時間通常確實會增加。能針對不同原語作出不同推導說明你真的理解而不是背了一個公式。6.3 場景設計類先建模再選型場景題也很有代表性給你512張A100卡要搭一個訓練集群你怎么選網卡、交換機和拓撲我的答題框架是把問題拆成四步先算需求按單卡通信帶寬400G來算512卡總需求約200Tbps考慮實際到達率還需要預留余量再選網絡類型確定IB還是RoCE預算充足、追求穩(wěn)定選IB已有以太網生態(tài)選RoCE然后定拓撲CLOS架構Leaf按每機架8臺服務器乘8卡估算Spine按對分帶寬需求定數(shù)量最后討論運維留出監(jiān)控、告警和故障切換預案。這個框架可以應對很多變體比如卡數(shù)翻倍、加訓練任務、引入推理服務等。核心邏輯是先有需求再有設計而不是一上來就報一堆型號參數(shù)。面試官聽你講設計時關注的是你有沒有算過賬這比記住具體型號重要得多。6.4 故障排查類思路比答案更重要這類題通常給一個現(xiàn)場描述訓練迭代突然變慢日志里出現(xiàn)NCCL超時你怎么辦記住一個原則不要跳著答不要一上來就說是某條鏈路壞了。正確順序是先定范圍用profiling確認是通信卡頓還是計算卡頓再定位位置從日志拓撲信息找故障點然后查網絡證據(jù)丟包、重傳、PFC計數(shù)最后給出行動換線、換光模塊、調參數(shù)或重啟NCCL。你甚至可以主動說我會先低優(yōu)先級觀察一段時間很多網絡問題是抖動性的快速重啟反而掩蓋真相。這種回答明顯更有工程師氣質也更容易讓面試官產生共鳴。實際運維里重啟有時只是緩解癥狀根因還在能體現(xiàn)這層思考說明你不是只會抄命令。7. 一些個人經驗和建議這篇文章寫到這里主線內容已經覆蓋得比較完整最后聊一點個人感受。AI Infra面試準備最容易犯的錯誤是把網絡知識當成一門背誦課——今天背RDMA定義明天背ECN原理后天背CLOS架構看起來都會一遇到綜合題就露餡。我的建議是用一條主線串起來從大模型訓練需要通信推導出集合通信進而推導出網絡需要高性能和低時延再推導出硬件選型和拓撲設計最后推導出擁塞控制的重要性。順著這條鏈復習你會發(fā)現(xiàn)所有知識點都是必然出現(xiàn)的而不是孤立存在的。另一個建議是盡量動手做一次小實驗。NVIDIA官方有NCCL的測試工具比如nccl-tests你可以在兩臺機器上跑AllReduce的benchmark打開NCCL_DEBUGINFO看看路徑選擇再用ethtool查看網卡協(xié)商速率和丟包計數(shù)。親眼看一次帶寬沒跑滿、調整參數(shù)后明顯改善的過程比死記硬背十篇資料都有用。最后分享一個小技巧面試時被問到一個不確定的網絡概念先別慌不要硬背答案。可以說我理解這個問題可以從幾個層面看然后把你最熟悉的一層展開把不確定的部分坦誠帶過。面試官在意的是思維路徑不是完美答案。AI集群網絡這個領域迭代非?？鞆腎B的HDR到NDR從RoCE v1到v2再到各種增強很多細節(jié)很快會過期但底層的方法論不會變。把思路練扎實比囤積一堆參數(shù)和名詞更有價值。