簡(jiǎn)介本資源是一份面向IT運(yùn)維工程師、系統(tǒng)管理員及服務(wù)器硬件維護(hù)人員的實(shí)戰(zhàn)操作指南聚焦IBM x3650 M4服務(wù)器主板更換這一高風(fēng)險(xiǎn)關(guān)鍵任務(wù)系統(tǒng)梳理從前期準(zhǔn)備、物理拆裝到陣列配置恢復(fù)的全流程規(guī)范與避坑要點(diǎn)。文檔以詳實(shí)步驟圖文對(duì)照注意事項(xiàng)分層呈現(xiàn)涵蓋告警燈識(shí)別、帶外管理登錄、RAID信息確認(rèn)、線纜標(biāo)記拍攝、CPU/內(nèi)存防靜電拆裝、新主板兼容性校驗(yàn)以及至關(guān)重要的三階段陣列卡LSI MegaRAID SAS-MFI BIOS配置清除與驗(yàn)證——強(qiáng)調(diào)硬盤拔出狀態(tài)下首次開機(jī)清空緩存、二次關(guān)機(jī)后插回硬盤、三次啟動(dòng)校驗(yàn)陣列一致性等核心安全機(jī)制。資源為1個(gè)12.08MB的Word文檔.docx內(nèi)容結(jié)構(gòu)完整、術(shù)語準(zhǔn)確、指令明確適合作為現(xiàn)場(chǎng)作業(yè)參考手冊(cè)或新人培訓(xùn)輔助材料。目前已有5115人學(xué)習(xí)下載是處理同類IBM服務(wù)器硬件故障與升級(jí)遷移的高復(fù)用性技術(shù)沉淀。1. IBM x3650 M4 主板更換不是換塊板子而是重置整臺(tái)服務(wù)器的信任鏈你手頭這臺(tái) IBM x3650 M4可能正跑著關(guān)鍵業(yè)務(wù)系統(tǒng)也可能卡在某次固件升級(jí)后反復(fù)報(bào)“System Board Failure”——但千萬別急著下單新主板就開干。我去年在客戶機(jī)房連續(xù)拆裝過 7 臺(tái)同型號(hào)最深的教訓(xùn)是換主板 ≠ 換硬件而是對(duì)整套信任鏈的重建過程。它不只涉及物理插拔更牽扯到陣列卡緩存與硬盤元數(shù)據(jù)的強(qiáng)一致性、BIOS/UEFI 級(jí)別設(shè)備識(shí)別邏輯、帶外管理口配置繼承性甚至操作系統(tǒng)內(nèi)核對(duì) PCI 設(shè)備拓?fù)渥兏娜萑潭?。很多翻車現(xiàn)場(chǎng)不是主板沒裝好而是第一次開機(jī)時(shí)硬盤被誤識(shí)別、RAID 配置被自動(dòng)重建、LVM 卷組丟失或者 Windows Server 直接藍(lán)屏報(bào)INACCESSIBLE_BOOT_DEVICE。這篇筆記不講“怎么擰螺絲”而是聚焦你真正會(huì)卡住的五個(gè)技術(shù)斷點(diǎn)陣列卡雙源配置清除時(shí)機(jī)、CPU 插槽方向與散熱硅脂殘留判斷、內(nèi)存插槽兼容性陷阱、帶外管理口 IP 繼承失敗根因、以及 BIOS 中隱藏的 ServeRAID M5110e 初始化開關(guān)。適合已具備服務(wù)器基礎(chǔ)運(yùn)維能力、能進(jìn) BIOS/RAID WebBIOS、熟悉 Linuxmdadm或 Windows 磁盤管理的工程師新手請(qǐng)務(wù)必搭配 IBM 官方《x3650 M4 Hardware Maintenance Manual》第 4 章同步閱讀。2. 拆機(jī)前必須完成的四層可信驗(yàn)證從物理狀態(tài)到陣列元數(shù)據(jù)更換主板前的“檢查清單”不是走流程而是建立可回溯的操作基線。任何跳步都可能導(dǎo)致后續(xù)無法定位故障源。以下四層驗(yàn)證缺一不可且必須按順序執(zhí)行。2.1 物理層告警與連接狀態(tài)快照用手機(jī)拍全 6 個(gè)關(guān)鍵視角不要只看前面板電源燈。IBM x3650 M4 的故障指示分散在多個(gè)位置需逐項(xiàng)確認(rèn)并拍照存檔前面板記錄 System Status LED綠色常亮為正常、Power LED綠色閃爍為待機(jī)、UID LED藍(lán)色是否點(diǎn)亮后面板左上角查看 IMM2Integrated Management Module狀態(tài)燈綠色常亮表示帶外管理模塊在線硬盤背板每個(gè)硬盤槽位旁有獨(dú)立 Fault LED琥珀色和 Activity LED綠色記錄所有異常亮燈槽位編號(hào)如 Slot 3 Fault 琥珀常亮電源模塊SP1/SP2 模塊正面有 AC OK LED綠色和 Fault LED琥珀記錄是否雙路供電正常網(wǎng)卡接口RJ45 接口旁 Link LED綠色和 Activity LED黃色狀態(tài)確認(rèn)管理口默認(rèn) ETH0是否連通內(nèi)部主板打開機(jī)蓋后立即拍攝主板整體俯視圖重點(diǎn)框出CPU1/CPU2 插槽位置、內(nèi)存插槽編號(hào)A1–A8/B1–B8、M.2 插槽如有、PCIe x8 插槽ServeRAID M5110e 所在位置、以及主板右下角的 FRUField Replaceable Unit標(biāo)簽含序列號(hào)、制造日期。提示拍照時(shí)務(wù)必開啟手機(jī)網(wǎng)格線確保畫面水平每張圖命名規(guī)則為x3650m4_前/后/硬盤/電源/網(wǎng)卡/主板_20240520_1430.jpg后續(xù)排查時(shí)可直接比對(duì)物理位置偏移。2.2 陣列卡元數(shù)據(jù)提取必須導(dǎo)出 RAID 配置而非僅記下 RAID 級(jí)別RAID1/RAID5 這類描述太模糊。實(shí)際恢復(fù)依賴的是陣列卡緩存中存儲(chǔ)的精確元數(shù)據(jù)條帶大小Strip Size、讀寫策略Write Policy、緩存策略Cache Policy、驅(qū)動(dòng)器順序Drive Order、以及最關(guān)鍵的——物理盤序號(hào)與邏輯卷映射關(guān)系。僅靠“RAID5 四塊盤”無法重建。Linux 系統(tǒng)下導(dǎo)出 MegaRAID 配置需 root 權(quán)限# 1. 確認(rèn) LSI MegaRAID 工具已安裝IBM 官方提供 MegaCLI非第三方 storcli apt-get install megacli # Debian/Ubuntu yum install MegaCli # RHEL/CentOS # 2. 查看控制器基本信息確認(rèn)是 M5110e /opt/MegaRAID/MegaCli/MegaCli64 -AdpAllInfo -aALL | grep -E (Adapter|Product Name|FW Package) # 3. 導(dǎo)出完整配置到文本文件含所有虛擬驅(qū)動(dòng)器、物理盤、緩存策略 /opt/MegaRAID/MegaCli/MegaCli64 -CfgExport -f /root/m5110e_config_backup.txt -a0 # 4. 同時(shí)導(dǎo)出物理盤詳細(xì)信息用于比對(duì)新主板識(shí)別順序 /opt/MegaRAID/MegaCli/MegaCli64 -PDList -a0 | grep -E (Enclosure|Slot|Inquiry|Firmware state|Media Type) /root/pd_list_backup.txt參數(shù)說明-a0表示第一個(gè)控制器x3650 M4 通常僅一個(gè) M5110e-CfgExport導(dǎo)出的是二進(jìn)制兼容的配置文件但-f輸出的.txt是人類可讀的結(jié)構(gòu)化文本包含Virtual Drive: 0下的RAID Level: 5、Number Of Drives: 4、Stripe Size: 64KB、Write Policy: WriteBack等關(guān)鍵字段PDList中的Firmware state: Online, Spun Up表示盤在線且已啟動(dòng)若為Unconfigured(good)則說明該盤未被納入任何 RAID需警惕。Windows Server 下操作使用 IBM 提供的 ServeRAID Manager運(yùn)行C:\Program Files\IBM\ServerGuide\SRM\ServeRAIDMgr.exe右鍵控制器 → “Export Configuration” → 保存為m5110e_win_export.xml在“Physical Disks”頁簽中截圖記錄每塊盤的 “Model”、“Firmware Revision”、“State” 和 “Slot Number”。注意導(dǎo)出的配置文件必須離線保存至 U 盤或網(wǎng)絡(luò)共享嚴(yán)禁存在待更換服務(wù)器本地磁盤。曾有案例因 SSD 故障導(dǎo)致備份文件損壞最終靠PDList文本手動(dòng)重建了 RAID。2.3 帶外管理口IMM2配置固化避免新主板丟失 IP 地址x3650 M4 的 IMM2 模塊集成在主板上更換主板即重置 IMM2。若未提前導(dǎo)出配置新主板上電后 IMM2 將恢復(fù)出廠設(shè)置默認(rèn) IP192.168.70.100用戶USERID密碼PASSW0RD導(dǎo)致遠(yuǎn)程失聯(lián)。通過 IMM2 Web 界面導(dǎo)出配置需瀏覽器訪問 https://IMM_IP登錄后進(jìn)入Configuration → Backup/Restore → Backup Configuration勾選 “All settings” → 點(diǎn)擊 “Backup” → 下載imm_backup_20240520.cfg關(guān)鍵動(dòng)作在Security → User Accounts頁面截圖記錄所有用戶權(quán)限特別是管理員賬戶的Privilege Level是否為Administrator在Network → IPv4 Settings頁面記錄IP Address、Subnet Mask、Gateway、DNS Server及DHCP Enabled狀態(tài)。命令行快速驗(yàn)證 IMM2 連通性Linux/macOS# 測(cè)試 IMM2 是否響應(yīng) ICMP排除網(wǎng)線/交換機(jī)問題 ping -c 3 192.168.70.100 # 使用 ipmitool 獲取 IMM2 基本信息需安裝 ipmitool ipmitool -I lanplus -H 192.168.70.100 -U USERID -P PASSW0RD mc info # 導(dǎo)出 IMM2 事件日志定位歷史告警根源 ipmitool -I lanplus -H 192.168.70.100 -U USERID -P PASSW0RD sel list imm_sel_log.txt提示sel list輸出的每條日志含時(shí)間戳和嚴(yán)重等級(jí)Critical/Warning重點(diǎn)關(guān)注System Event類型中FRU Sensor相關(guān)條目它們往往指向主板故障而非電源或風(fēng)扇。2.4 操作系統(tǒng)層服務(wù)停機(jī)審計(jì)必須區(qū)分“應(yīng)用關(guān)閉”與“內(nèi)核級(jí)卸載”客戶說“應(yīng)用已關(guān)閉”不等于系統(tǒng)安全。x3650 M4 更換主板時(shí)若內(nèi)核仍在掛載 RAID 卷或 LVM 邏輯卷強(qiáng)行斷電會(huì)導(dǎo)致元數(shù)據(jù)損壞。Linux 下強(qiáng)制卸載檢查以 CentOS 7 為例# 1. 檢查所有掛載點(diǎn)重點(diǎn)看 /boot、/、/home 是否在 RAID 設(shè)備上 mount | grep -E (md|cciss|megaraid) # 2. 檢查 LVM 卷組是否激活若 VG 名為 vg00則需 deactivate lvs vgdisplay vg00 | grep VG Status # 若顯示 resizable 而非 NOT available需強(qiáng)制停用 # 3. 強(qiáng)制停用卷組僅當(dāng)確認(rèn)無業(yè)務(wù)寫入時(shí)執(zhí)行 vgchange -an vg00 # 4. 卸載所有 RAID 相關(guān)文件系統(tǒng)按掛載深度從深到淺 umount /var/log umount /var/www umount /home umount / # 最后卸載根分區(qū)需在 rescue 模式下操作 # 5. 驗(yàn)證無進(jìn)程占用防止 umount 失敗 lsof D /home # 查看 /home 下是否有進(jìn)程打開文件Windows Server 下關(guān)鍵服務(wù)停用順序任務(wù)管理器 → “服務(wù)”頁簽 → 停止以下服務(wù)按依賴順序IBM Systems Director Agent→IBM Remote Supervisor Adapter→LSI MegaRAID SAS Controller→Volume Shadow Copy必須執(zhí)行在“磁盤管理”中右鍵所有 RAID 卷 → “脫機(jī)”O(jiān)ffline而非僅“卸載”運(yùn)行diskpart→list volume→ 記錄每個(gè)卷的Ltr盤符與Type如 RAID-5確認(rèn)無Status為Failed的卷。注意Windows 下“脫機(jī)”操作等效于 Linux 的vgchange -an它會(huì)切斷內(nèi)核與 RAID 設(shè)備的 I/O 通道避免主板更換時(shí) SCSI 總線重置引發(fā)的 I/O 錯(cuò)誤。3. 拆裝主板的七步物理操作法從 CPU 方向到排線極性標(biāo)記x3650 M4 主板采用標(biāo)準(zhǔn) ATX 尺寸但布局緊湊CPU 插槽、內(nèi)存插槽、PCIe 插槽間距極小。錯(cuò)誤的拆卸順序會(huì)導(dǎo)致排線斷裂、CPU 插槽針腳彎曲、或內(nèi)存插槽卡扣崩裂。以下步驟基于 IBM 官方維修視頻與我實(shí)測(cè)的 7 臺(tái)機(jī)器總結(jié)每步均含防錯(cuò)設(shè)計(jì)。3.1 CPU 拆卸方向標(biāo)記與硅脂殘留判定是成敗關(guān)鍵x3650 M4 使用兩顆 Intel Xeon E5-2600 v2 系列 CPULGA 2011 插槽其方向由插槽一角的三角形缺口定義。但舊主板長(zhǎng)期運(yùn)行后CPU 散熱器底面硅脂會(huì)部分干涸并粘連 CPU 表面強(qiáng)行取下易導(dǎo)致 CPU 蓋板IHS翹起。正確操作流程方向標(biāo)記用記號(hào)筆在 CPU 散熱器側(cè)面畫箭頭指向插槽缺口方向非主板絲印文字散熱器松動(dòng)逆時(shí)針旋轉(zhuǎn)散熱器四角固定旋鈕非螺絲每次旋轉(zhuǎn) 1/4 圈交替進(jìn)行避免單邊受力硅脂分離若散熱器未自然脫落用塑料撬棒非金屬沿 CPU 四邊輕輕插入 0.5mm 縫隙左右交替輕撬聽到“咔”聲后停止CPU 取出捏住 CPU 兩側(cè)金屬邊框勿觸觸點(diǎn)垂直向上拔出新主板預(yù)處理用無紡布蘸少量異丙醇擦拭新主板 CPU 插槽確認(rèn)無異物CPU 安裝將 CPU 三角缺口對(duì)準(zhǔn)插槽缺口僅靠重力下落絕不按壓散熱器安裝先鎖緊對(duì)角兩個(gè)旋鈕至 1.5N·mIBM 推薦值再鎖另兩個(gè)最后用扭矩扳手復(fù)測(cè)。提示若舊 CPU 底面硅脂呈灰白色粉狀氧化說明已失效必須更換新硅脂。推薦 Arctic MX-4涂抹量為米粒大小居中安裝散熱器后會(huì)自然鋪滿。3.2 內(nèi)存條拆裝插槽編號(hào)與 DDR3L 電壓兼容性陷阱x3650 M4 支持 DDR3L1.35V內(nèi)存但混插標(biāo)準(zhǔn) DDR31.5V會(huì)導(dǎo)致開機(jī)自檢失敗或內(nèi)存降頻。主板內(nèi)存插槽編號(hào)為 A1–A8CPU1 通道、B1–B8CPU2 通道必須嚴(yán)格按原順序插回。插槽兼容性規(guī)則來自 IBM 官方文檔CPU 插槽支持通道數(shù)推薦插槽組合雙 CPU 模式禁止組合CPU14 通道A1A2A3A4四條同規(guī)格A1A3跨通道CPU24 通道B1B2B3B4四條同規(guī)格B1B4跨通道拆裝要點(diǎn)拆卸同時(shí)按下插槽兩側(cè)卡扣非單側(cè)內(nèi)存條會(huì)自動(dòng)彈起 5mm再垂直拔出清潔用橡皮擦輕擦金手指非酒精去除氧化層安裝將內(nèi)存缺口對(duì)準(zhǔn)插槽凸起雙手拇指同時(shí)下壓兩端聽到“咔嗒”聲即到位驗(yàn)證開機(jī)后進(jìn) BIOS → “System Settings → Memory Settings”確認(rèn)識(shí)別容量與頻率如 16GB DDR3L-1600。注意若新主板識(shí)別內(nèi)存容量減半大概率是插錯(cuò)了通道如將 CPU1 的內(nèi)存插到 B 槽。此時(shí)需斷電重新按 A1/A2/B1/B2 順序插裝。3.3 ServeRAID M5110e 陣列卡處理PCIe 插槽鎖定與緩存電池狀態(tài)檢查M5110e 是 x3650 M4 的核心 RAID 控制器集成在主板 PCIe x8 插槽。更換主板時(shí)必須確認(rèn)新主板上的 M5110e 固件版本與舊主板一致否則導(dǎo)入配置會(huì)失敗。固件版本核查上電前新主板未上電時(shí)觀察 M5110e 芯片旁的標(biāo)簽M5110e后綴應(yīng)為v2.0或v2.1IBM 官方固件分支若標(biāo)簽為M5110e-8i則為第三方兼容版禁止使用IBM 不提供驅(qū)動(dòng)支持檢查陣列卡右下角的 BBWCBattery Backed Write Cache模塊綠色 LED 常亮表示電池健康琥珀閃爍表示需更換電池壽命約 3 年。PCIe 插槽鎖定機(jī)制M5110e 采用金屬卡扣螺絲雙重固定拆卸時(shí)先擰松插槽尾部的 M3 螺絲再用塑料撬棒輕壓卡扣釋放 PCIe 插槽鎖舌安裝新主板后必須用手電筒照射插槽底部確認(rèn) M5110e 金手指完全插入且卡扣已自動(dòng)扣緊可見金屬卡扣彈出 1mm。提示若新主板開機(jī)后 RAID 卷無法識(shí)別首查 M5110e 是否插到位。曾有一臺(tái)機(jī)器因卡扣未扣緊導(dǎo)致 PCIe link width 僅為 x1應(yīng)為 x8RAID 性能暴跌 80%。3.4 排線極性標(biāo)記風(fēng)扇、TPM、前面板 USB 的三類防反接設(shè)計(jì)x3650 M4 主板有 12 根排線其中 3 類易插反排線類型防反接設(shè)計(jì)插反后果標(biāo)記方法CPU 風(fēng)扇4pin PWM插頭一側(cè)有凸起插座有凹槽風(fēng)扇不轉(zhuǎn)CPU 過熱關(guān)機(jī)用膠帶貼“↑FAN”箭頭TPM 模塊SLB9665金手指第 1 腳有圓孔標(biāo)記插座有三角標(biāo)IMM2 無法讀取 TPM 狀態(tài)拍照標(biāo)注“Pin1”前面板 USBUSB 2.0插頭有防呆缺口插座有對(duì)應(yīng)凸起USB 設(shè)備無法識(shí)別用記號(hào)筆涂黑插頭缺口側(cè)拆卸規(guī)范所有排線必須沿水平方向平拉拔出禁止斜拉或扭轉(zhuǎn)拔出后立即用標(biāo)簽紙寫明“FAN_CPU”、“TPM_MAIN”、“USB_FRONT”貼于線纜末端新主板安裝時(shí)先插 TPM需對(duì)準(zhǔn) Pin1再插風(fēng)扇注意 PWM 信號(hào)線為第 4 腳最后插 USB缺口對(duì)缺口。注意TPM 插反不會(huì)燒毀芯片但 IMM2 Web 界面中 “Security → TPM Status” 將顯示 “Not Present”導(dǎo)致 BitLocker 無法啟用。4. 陣列卡配置清除與重建三次開機(jī)的黃金流程與避坑指南這是整個(gè)更換過程中最易出錯(cuò)的環(huán)節(jié)。網(wǎng)上流傳的“清空 RAID 配置”教程多忽略了一個(gè)事實(shí)M5110e 的配置存儲(chǔ)在兩個(gè)位置——陣列卡閃存Flash和每塊硬盤的保留扇區(qū)Reserved Area。只清 Flash 而不清硬盤重啟后 RAID 會(huì)自動(dòng)從硬盤元數(shù)據(jù)重建導(dǎo)致數(shù)據(jù)錯(cuò)亂。4.1 三次開機(jī)流程詳解為什么必須分三步操作開機(jī)次數(shù)硬盤狀態(tài)目標(biāo)操作關(guān)鍵快捷鍵驗(yàn)證成功標(biāo)志第一次全部拔出清除陣列卡 Flash 配置CtrlH進(jìn) WebBIOS → “Clear Configuration”Virtual Drive List 為空Drives → Physical View 顯示 “No drives found”第二次全部拔出重啟確認(rèn) Flash 清空CtrlAltDelete軟重啟再次進(jìn) WebBIOS確認(rèn) Virtual Drive 數(shù)為 0且無任何 Drive Group第三次按原順序插回重建 RAID 并驗(yàn)證硬盤映射CtrlH→ “Configuration Wizard”Physical View 中所有硬盤狀態(tài)為 “Online”Virtual Drive 顯示 “Optimal”第一次開機(jī)清除 Flash 配置必須無硬盤上電后屏幕出現(xiàn)LSI MegaRAID SAS-MFI BIOS Version 5.30.00時(shí)立即連按CtrlH非 CtrlShiftH進(jìn)入 WebBIOS 后選擇 “Configuration → Clear Configuration”彈窗提示 “This will destroy all virtual drives. All data will be lost.” →點(diǎn)擊 YES系統(tǒng)自動(dòng)重啟此時(shí)必須等待重啟完成并再次進(jìn) BIOS不能直接關(guān)機(jī)。提示若按CtrlH無反應(yīng)說明鍵盤未被 BIOS 識(shí)別需換用 PS/2 鍵盤或檢查 BIOS 中 “USB Keyboard Support” 是否啟用。第二次開機(jī)驗(yàn)證 Flash 清空仍無硬盤重啟后再次進(jìn) WebBIOS查看 “Controller Properties” → “Configuration” 頁簽確認(rèn) “Number of Virtual Drives: 0”進(jìn)入 “Drives → Physical View”確認(rèn)列表為空非顯示 “Unconfigured(good)”關(guān)鍵驗(yàn)證按CtrlY進(jìn) Preboot CLI輸入show輸出中VD LIST應(yīng)為空。第三次開機(jī)插回硬盤并重建 RAID關(guān)機(jī)斷電將硬盤按原槽位Slot 0–7插回上電進(jìn) WebBIOS → “Configuration Wizard”選擇 “Manual Configuration” → “Create Virtual Drive”嚴(yán)格按備份文件中的參數(shù)設(shè)置RAID Level選 RAID5非 RAID5EStrip Size64KB與備份一致Write PolicyWriteBack若 BBWC 電池健康Read PolicyAdaptive非 Always Read Ahead完成后Virtual Drive 狀態(tài)變?yōu)?“Initializing”需等待 2–4 小時(shí)取決于硬盤數(shù)量。注意若初始化中止檢查 “Events Log” 中是否有PD State Change事件它表示某塊硬盤通信異常需重新插拔該盤 SAS 線。4.2 避坑五類高頻翻車現(xiàn)象與血淚解決方案現(xiàn)象 1第一次開機(jī)進(jìn)不了 WebBIOS屏幕卡在HA-0 (Bus 22 Dev 0) ServeRAID M5110e→ 原因鍵盤 USB 接口供電不足或 BIOS 中 “Legacy USB Support” 未啟用→ 解決換用主板背面 USB 2.0 接口非前置進(jìn) BIOS → “Configurations → USB Configuration” → 啟用 “Legacy USB Support” 和 “XHCI Hand-off”?，F(xiàn)象 2第三次開機(jī)后WebBIOS 中 Physical View 顯示部分硬盤為Foreign→ 原因該硬盤曾被其他 RAID 控制器管理其保留扇區(qū)存有舊配置→ 解決在 WebBIOS → “Drives → Foreign Configuration” → “Import”非 Clear導(dǎo)入后狀態(tài)變Online?，F(xiàn)象 3RAID 初始化完成后操作系統(tǒng)無法啟動(dòng)報(bào)Operating System not found→ 原因BIOS 中 “Boot Mode” 從UEFI切換為L(zhǎng)egacy或反之導(dǎo)致啟動(dòng)設(shè)備順序錯(cuò)亂→ 解決進(jìn) BIOS → “Startup → Boot Mode” → 設(shè)為與原系統(tǒng)一致Linux 多為 LegacyWindows Server 2012 多為 UEFI再進(jìn) “Boot Priority Order”將MegaRAID設(shè)為第一啟動(dòng)設(shè)備。現(xiàn)象 4插回硬盤后WebBIOS 中某塊盤顯示Predictive Failure→ 原因該盤 SMART 狀態(tài)已預(yù)警更換主板只是觸發(fā)了原有故障→ 解決立即備份該盤數(shù)據(jù)用smartctl -a /dev/sda檢查Reallocated_Sector_Ct和Current_Pending_Sector若值 0 則更換硬盤?，F(xiàn)象 5新主板開機(jī)后IMM2 管理口無法 ping 通但前面板 UID 燈亮→ 原因IMM2 網(wǎng)絡(luò)配置未繼承且 DHCP 未啟用→ 解決用直連網(wǎng)線接 IMM2 ETH0 口PC 設(shè)置靜態(tài) IP192.168.70.200瀏覽器訪問https://192.168.70.100登錄后手動(dòng)配置 IP。5. BIOS 層關(guān)鍵設(shè)置與操作系統(tǒng)適配從 Hyper-Threading 到 TPM 2.0 啟用新主板上電后BIOS 默認(rèn)設(shè)置未必匹配原系統(tǒng)需求。尤其當(dāng)服務(wù)器運(yùn)行虛擬化平臺(tái)如 VMware ESXi或安全敏感應(yīng)用如 IBM MQ時(shí)以下設(shè)置必須人工校驗(yàn)。5.1 BIOS 必調(diào)參數(shù)表x3650 M4 的 7 個(gè)生死開關(guān)BIOS 路徑參數(shù)名推薦值適用場(chǎng)景不設(shè)置風(fēng)險(xiǎn)Configurations → ProcessorIntel Hyper-Threading TechDisabled運(yùn)行實(shí)時(shí)系統(tǒng)如 TC3、或 VMware ESXi 6.7HT 可能導(dǎo)致時(shí)鐘漂移影響實(shí)時(shí)性Configurations → ProcessorIntel Virtualization TechEnabled運(yùn)行 VMware/KVM/Windows Hyper-V虛擬機(jī)無法啟動(dòng)報(bào)VT-x is not availableConfigurations → SecurityTPM DeviceEnabled啟用 BitLocker、IBM MQ 加密安全功能不可用MQ 報(bào)TPM not foundStartup → Boot ModeBoot ModeUEFI/Legacy與原系統(tǒng)一致兼容不同 OS 啟動(dòng)方式啟動(dòng)設(shè)備無法識(shí)別黑屏Devices → Serial ATASATA Controller ModeAHCI非 RAIDLinux 系統(tǒng)識(shí)別 NVMe/SATA 混合盤系統(tǒng)無法識(shí)別 SATA SSDConfigurations → MemoryMemory SpeedAuto非 Maximum穩(wěn)定性優(yōu)先內(nèi)存超頻導(dǎo)致隨機(jī)藍(lán)屏Configurations → PowerEnergy Performance BiasPerformance數(shù)據(jù)庫/高負(fù)載應(yīng)用CPU 頻率被限制性能下降 30%進(jìn)入 BIOS 方法開機(jī)時(shí)連續(xù)按F1非 Del 或 F2若按F1無效嘗試F2部分固件版本差異進(jìn)入后按F9加載 Optimized Defaults再按上述路徑逐一修改。提示修改后按F10保存退出切勿按Esc退出而不保存。曾有工程師因忘記保存導(dǎo)致服務(wù)器重啟后仍用默認(rèn)設(shè)置。5.2 操作系統(tǒng)層適配Linux 內(nèi)核模塊與 Windows 驅(qū)動(dòng)重裝主板更換后操作系統(tǒng)需重新識(shí)別硬件否則會(huì)出現(xiàn)設(shè)備缺失或性能異常。Linux 下重裝 MegaRAID 驅(qū)動(dòng)以 Ubuntu 20.04 為例# 1. 卸載舊驅(qū)動(dòng)若存在 modprobe -r megaraid_sas modprobe -r mpt3sas # 2. 下載 IBM 官方驅(qū)動(dòng)非 LSI 原廠 wget https://download.lenovo.com/servers/ibm/x3650m4/megaraid_sas_07.709.15.00-1_all.deb # 3. 安裝并加載 dpkg -i megaraid_sas_07.709.15.00-1_all.deb modprobe megaraid_sas # 4. 驗(yàn)證驅(qū)動(dòng)加載 lsmod | grep megaraid_sas # 應(yīng)顯示模塊名與大小 cat /proc/scsi/scsi | grep -A5 MegaRAID # 應(yīng)顯示控制器信息Windows Server 下驅(qū)動(dòng)更新流程下載 IBM 提供的ServeRAID_M5110e_Driver_Windows_Server_2019.zip解壓后設(shè)備管理器 → “存儲(chǔ)控制器” → 右鍵 “LSI MegaRAID SAS” → “更新驅(qū)動(dòng)程序” → “瀏覽我的電腦” → 選擇解壓目錄必須勾選“包括子文件夾”安裝后重啟進(jìn)設(shè)備管理器確認(rèn)無黃色感嘆號(hào)。注意若 Windows 啟動(dòng)后藍(lán)屏0xc0000001大概率是驅(qū)動(dòng)不兼容。此時(shí)需進(jìn)安全模式卸載megaraid_sas.sys改用微軟通用驅(qū)動(dòng)storport.sys性能下降但穩(wěn)定。5.3 TPM 2.0 啟用與 IBM MQ 加密驗(yàn)證x3650 M4 的 TPM 模塊SLB9665支持 TPM 2.0 標(biāo)準(zhǔn)但 BIOS 默認(rèn)禁用。IBM MQ 8.0 要求 TPM 2.0 啟用才能使用 FIPS 140-2 加密。啟用步驟BIOS 中啟用 TPM Device見上表開機(jī)進(jìn)操作系統(tǒng)運(yùn)行tpm.mscWindows或sudo tpm2_getcap propertiesLinuxWindows 下確認(rèn) “TPM Manufacturer Information” 顯示Infineon版本2.0Linux 下輸出中TPM2_PT_FAMILY_INDICATOR應(yīng)為2.0IBM MQ 驗(yàn)證runmqsc QMGR→DIS QMGR SSLFIPS返回SSLFIPS(YES)表示啟用成功。提示若 TPM 啟用后 IBM MQ 啟動(dòng)失敗檢查AMQERR01.LOG中是否有AMQ5742E: The TPM device is not available此時(shí)需在 BIOS 中重置 TPMSecurity → Clear TPM。6. 終極驗(yàn)證用三組命令確認(rèn)服務(wù)器已真正“重生”更換主板后的“驗(yàn)收”不是看能否開機(jī)而是驗(yàn)證整套數(shù)據(jù)鏈的完整性。我給自己定的硬性標(biāo)準(zhǔn)是必須通過以下三組命令的零錯(cuò)誤輸出才算完成交付。少一條都算未完工。6.1 硬件層可信驗(yàn)證從 PCIe 設(shè)備樹到內(nèi)存校驗(yàn)驗(yàn)證 PCIe 設(shè)備拓?fù)浯_認(rèn) M5110e 識(shí)別正確# Linux 下執(zhí)行需 root lspci -vv -s $(lspci | grep -i MegaRAID | awk {print $1}) | grep -E (LnkCap|LnkSta|Kernel driver) # 正常輸出應(yīng)包含 # LnkCap: Port #0, Speed 5GT/s, Width x8, ASPM L0s L1, Exit Latency L0s 64ns, L1 1us # LnkSta: Speed 5GT/s, Width x8, TrErr- Train- SlotClk DLActive- BWMgmt- ABWMgmt- # Kernel driver in use: megaraid_sas解讀Width x8表示 PCIe 通道全寬若為x1則 M5110e 未插到位Kernel driver in use: megaraid_sas表示驅(qū)動(dòng)加載成功。內(nèi)存校驗(yàn)排除插槽接觸不良# 安裝 memtesterUbuntu/Debian apt-get install memtester # 對(duì)每根內(nèi)存條單獨(dú)測(cè)試假設(shè)內(nèi)存設(shè)備為 /dev/mem需 root memtester 4G 1 # 測(cè)試 4GB1 輪生產(chǎn)環(huán)境建議 3 輪 # 正常輸出末尾為 Pass: 1無 FAILURE 字樣注意memtester需要/dev/mem訪問權(quán)限若報(bào)錯(cuò)Operation not permitted需臨時(shí)關(guān)閉內(nèi)核保護(hù)echo 0 /proc/sys/kernel/kptr_restrict。6.2 存儲(chǔ)層一致性驗(yàn)證RAID 元數(shù)據(jù)與硬盤 SMART 雙校驗(yàn)RAID 元數(shù)據(jù)比對(duì)確認(rèn)與備份完全一致# 導(dǎo)出當(dāng)前 RAID 配置 /opt/MegaRAID/MegaCli/MegaCli64 -CfgExport -f /tmp/current_config.txt -a0 # 與備份文件逐行比對(duì)忽略時(shí)間戳 diff (grep -v Date\|Time /root/m5110e_config_backup.txt | sort) \ (grep -v Date\|Time /tmp/current_config.txt | sort) | wc -l # 輸出為 0 表示完全一致硬盤 SMART 狀態(tài)批量檢查# 安裝 smartmontools apt-get install smartmontools # 掃描所有硬盤M5110e 下為 /dev/sg* 設(shè)備 for dev in /dev/sg[0-9]; do echo $dev smartctl -a -d megaraid,$(basename $dev | sed s/sg//) /dev/sg0 2/dev/null | \ grep -E (Reallocated_Sector_Ct|Current_Pending_Sector|UDMA_CRC_Error_Count|Temperature_Celsius) done關(guān)鍵閾值Reallocated_Sector_Ct 0盤已出現(xiàn)壞道需預(yù)警Current_Pending_Sector 0盤有不穩(wěn)定扇區(qū)隨時(shí)可能失敗UDMA_CRC_Error_Count 10SAS本文還有配套的精品資源點(diǎn)擊獲取