絡監(jiān)控：使用ibdiagnet與ibnetdiscover)
一次深夜的丟包排查凌晨兩點，機房告警燈閃爍。客戶反饋HPC集群的MPI作業(yè)頻繁超時，檢查應用日志發(fā)現(xiàn)RDMA通信偶發(fā)重傳。我登錄管理節(jié)點，第一件事就是敲下ibdiagnet——這個命令我閉著眼都能打出來，但每次執(zhí)行時心里還是會默念一句“別給我報錯”。輸出結(jié)果里，Errors字段赫然顯示某個端口的CRC錯誤計數(shù)在增長。順著ibnetdiscover導出的拓撲圖，我定位到一根光模塊的鏈路質(zhì)量異常。換掉模塊后，問題消失。這不是什么高深的技術，但如果沒有這兩個工具，你可能會在應用層排查到天亮。ibdiagnet：網(wǎng)絡健康診斷的瑞士軍刀ibdiagnet是Mellanox（現(xiàn)NVIDIA）提供的InfiniBand網(wǎng)絡診斷工具，它不像ibstat那樣只查本地狀態(tài)，而是對整個子網(wǎng)管理器管理的網(wǎng)絡做全面體檢。我習慣在部署新集群或懷疑網(wǎng)絡問題時，先跑一遍完整掃描：ibdiagnet-r-lw-c1000這里-r 118、RDMA網(wǎng)絡監(jiān)控：使用ibdiagnet與ibnetdiscover
一次深夜的丟包排查凌晨兩點，機房告警燈閃爍。客戶反饋HPC集群的MPI作業(yè)頻繁超時，檢查應用日志發(fā)現(xiàn)RDMA通信偶發(fā)重傳。我登錄管理節(jié)點，第一件事就是敲下ibdiagnet——這個命令我閉著眼都能打出來，但每次執(zhí)行時心里還是會默念一句“別給我報錯”。輸出結(jié)果里，Errors字段赫然顯示某個端口的CRC錯誤計數(shù)在增長。順著ibnetdiscover導出的拓撲圖，我定位到一根光模塊的鏈路質(zhì)量異常。換掉模塊后，問題消失。這不是什么高深的技術，但如果沒有這兩個工具，你可能會在應用層排查到天亮。ibdiagnet：網(wǎng)絡健康診斷的瑞士軍刀ibdiagnet是Mellanox（現(xiàn)NVIDIA）提供的InfiniBand網(wǎng)絡診斷工具，它不像ibstat那樣只查本地狀態(tài)，而是對整個子網(wǎng)管理器管理的網(wǎng)絡做全面體檢。我習慣在部署新集群或懷疑網(wǎng)絡問題時，先跑一遍完整掃描：ibdiagnet-r-lw-c1000這里-r