簡(jiǎn)介這份《VMware服務(wù)器虛擬化解決方案(詳細(xì)).doc》面向企業(yè)IT運(yùn)維人員、虛擬化架構(gòu)師及備考相關(guān)認(rèn)證的技術(shù)學(xué)習(xí)者系統(tǒng)講解如何借助vSphere、vCenter Server與Lab Manager構(gòu)建高效數(shù)據(jù)中心解決服務(wù)器數(shù)量激增帶來的資金、人力與管理壓力。文檔圍繞vCompute、vStorage、vNetwork三大方向展開涵蓋服務(wù)器整合、商業(yè)連續(xù)性、測(cè)試與開發(fā)三類解決方案并給出需求分析、方案拓?fù)鋱D、軟硬件需求、基礎(chǔ)架構(gòu)服務(wù)層與應(yīng)用程序服務(wù)層劃分、異地容災(zāi)技術(shù)及與同類產(chǎn)品的效率控制對(duì)比等完整設(shè)計(jì)思路。資源包共1個(gè)doc文件約3.39MB內(nèi)容以方案論述與架構(gòu)說明為主目錄層級(jí)清晰便于按模塊查閱。目前已有2732人學(xué)習(xí)下載適合需要落地虛擬化項(xiàng)目、撰寫實(shí)施方案或梳理vSphere部署邏輯的讀者參考借鑒。1. 從一份“詳細(xì).doc”說起服務(wù)器虛擬化到底在解決什么問題如果你手里也有一份叫《VMware服務(wù)器虛擬化解決方案(詳細(xì)).doc》的文檔大概率是兩種處境之一要么是老板丟過來讓你照著落地要么是你自己準(zhǔn)備寫這么一份東西卻不確定該往里面塞什么。我見過太多這類方案文檔最后變成產(chǎn)品彩頁的拼貼——ESXi、vCenter、HA、DRS 名詞堆了一頁真到機(jī)房上架那天網(wǎng)卡怎么接、存儲(chǔ)怎么劃、虛擬機(jī)放哪臺(tái)宿主機(jī)全得重新想。服務(wù)器虛擬化這件事核心從來不是“裝個(gè) VMware”而是把一堆物理服務(wù)器的 CPU、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)抽象成可調(diào)度、可遷移、可恢復(fù)的資源池讓業(yè)務(wù)不再和某臺(tái)具體機(jī)器綁死。這份方案要回答的就是一臺(tái)物理機(jī)怎么變成十幾臺(tái)虛擬機(jī)、這些虛擬機(jī)怎么在網(wǎng)絡(luò)和存儲(chǔ)上活下來、壞了怎么自動(dòng)起來。適合正在做機(jī)房整合、業(yè)務(wù)上云第一步、或者要把老舊物理機(jī)遷進(jìn)虛擬化平臺(tái)的運(yùn)維和架構(gòu)同學(xué)。下面我按一份能真正落地的方案該有的順序把選型、設(shè)計(jì)、實(shí)施和踩坑講透。2. 方案骨架怎么搭從物理資源盤點(diǎn)到集群拓?fù)湓O(shè)計(jì)一份能落地的服務(wù)器虛擬化方案第一頁不該是產(chǎn)品介紹而應(yīng)該是現(xiàn)狀盤點(diǎn)表。我一般會(huì)先拉三張表現(xiàn)有物理服務(wù)器清單型號(hào)、CPU 核數(shù)、內(nèi)存、本地盤、網(wǎng)卡數(shù)量、業(yè)務(wù)系統(tǒng)清單操作系統(tǒng)、資源占用峰值、依賴關(guān)系、能否停機(jī)、存儲(chǔ)與網(wǎng)絡(luò)現(xiàn)狀有沒有共享存儲(chǔ)、交換機(jī)端口余量、VLAN 規(guī)劃。這三張表決定了后面所有設(shè)計(jì)的上限。很多方案翻車不是技術(shù)不行是盤點(diǎn)階段漏了一臺(tái)跑著老數(shù)據(jù)庫的物理機(jī)遷移時(shí)才發(fā)現(xiàn)它用的是本地 RAID 卡且不支持直通。2.1 先算資源賬CPU 超分比和內(nèi)存預(yù)留怎么定虛擬化最容易被誤解的一點(diǎn)是“一臺(tái)物理機(jī)能塞多少虛擬機(jī)”。CPU 可以超分內(nèi)存不能隨便超。我的經(jīng)驗(yàn)值是這樣CPU 超分比vCPU 總數(shù) ÷ 物理邏輯核數(shù)在通用業(yè)務(wù)場(chǎng)景下控制在 4:1 到 6:1如果是高頻交易或?qū)崟r(shí)計(jì)算類業(yè)務(wù)壓到 2:1 以內(nèi)。內(nèi)存則相反物理內(nèi)存的 80% 是可分配上限剩下 20% 留給 ESXi 自身和突發(fā)開銷。舉個(gè)例子一臺(tái)雙路 16 核共 32 邏輯核、256GB 內(nèi)存的宿主機(jī)按 5:1 超分可以給到 160 個(gè) vCPU按內(nèi)存算 256×0.8204GB 可分配如果每臺(tái)虛擬機(jī)配 8GB 內(nèi)存內(nèi)存先到瓶頸只能放 25 臺(tái)左右。所以資源賬要按短板算不是按 CPU 算。資源類型可分配上限常見超分比瓶頸判斷CPU物理邏輯核 × 超分比4:1 ~ 6:1看業(yè)務(wù)峰值就緒時(shí)間內(nèi)存物理內(nèi)存 × 80%不超分通常先到瓶頸存儲(chǔ) IOPS根據(jù)磁盤類型實(shí)測(cè)按業(yè)務(wù)峰值疊加看數(shù)據(jù)盤類型網(wǎng)絡(luò)帶寬物理網(wǎng)卡上行 × 冗余按 VLAN 隔離看東西向流量這張表建議直接放進(jìn)方案文檔評(píng)審時(shí)誰都能看懂瓶頸在哪。2.2 集群拓?fù)淙_(tái)起步管理網(wǎng)和業(yè)務(wù)網(wǎng)必須分開集群規(guī)模不是越大越好。我一般建議生產(chǎn)集群從 3 臺(tái)宿主機(jī)起步最多不超過 8 臺(tái)。3 臺(tái)的意義在于一臺(tái)維護(hù)時(shí)剩下兩臺(tái)還能承載全部業(yè)務(wù)并保留 HA 切換能力。超過 8 臺(tái)后vMotion 網(wǎng)絡(luò)和共享存儲(chǔ)的爭(zhēng)用會(huì)變得明顯故障域也太大。網(wǎng)絡(luò)設(shè)計(jì)上管理網(wǎng)ESXi 管理、vCenter、vMotion 網(wǎng)、存儲(chǔ)網(wǎng)iSCSI/NFS、業(yè)務(wù)網(wǎng)必須用獨(dú)立 VLAN 或獨(dú)立物理網(wǎng)卡。我見過把管理網(wǎng)和業(yè)務(wù)網(wǎng)混在一個(gè) VLAN 的方案結(jié)果一次業(yè)務(wù)廣播風(fēng)暴直接把 vCenter 打掛所有宿主機(jī)失聯(lián)只能去機(jī)房一臺(tái)臺(tái)重啟管理代理。# 在 ESXi 主機(jī)上查看物理網(wǎng)卡和上行鏈路狀態(tài) esxcli network nic list esxcli network vswitch standard list # 查看 vMotion 和存儲(chǔ)網(wǎng)卡是否獨(dú)立 esxcli network ip interface list這幾條命令用來確認(rèn)網(wǎng)卡分配是否符合設(shè)計(jì)。esxcli network nic list看物理網(wǎng)卡數(shù)量和鏈路狀態(tài)vswitch standard list看虛擬交換機(jī)上掛了哪些上行鏈路ip interface list看 VMkernel 接口分別綁在哪個(gè) vSwitch 上。如果發(fā)現(xiàn) vMotion 和存儲(chǔ)共用同一塊物理網(wǎng)卡方案里就要補(bǔ)一條整改項(xiàng)加網(wǎng)卡或至少做流量整形。3. 存儲(chǔ)與網(wǎng)絡(luò)設(shè)計(jì)共享存儲(chǔ)選型、iSCSI 配置和多路徑存儲(chǔ)是服務(wù)器虛擬化里最容易出玄學(xué)問題的地方。方案文檔里如果只寫“采用共享存儲(chǔ)”實(shí)施時(shí)一定扯皮。共享存儲(chǔ)選型要看業(yè)務(wù)對(duì) IOPS 和延遲的要求一般業(yè)務(wù)用 NFS 或 iSCSI 跑在千兆/萬兆以太網(wǎng)就行數(shù)據(jù)庫類業(yè)務(wù)建議用 FC 或 iSCSI 萬兆并做多路徑。我一般會(huì)先問一句業(yè)務(wù)峰值 IOPS 是多少如果對(duì)方答不上來就按每臺(tái)虛擬機(jī) 50~100 IOPS 估算再乘虛擬機(jī)數(shù)量留 30% 余量。3.1 iSCSI 存儲(chǔ)配置發(fā)現(xiàn)、綁定和 multipath 三件事iSCSI 配置在 ESXi 上分三步配 VMkernel 存儲(chǔ)網(wǎng)口、配 iSCSI 軟件適配器、綁 VMkernel 端口。順序錯(cuò)了會(huì)出現(xiàn)“能看到目標(biāo)但連不上”的情況。下面是我常用的配置流程。# 1. 創(chuàng)建用于 iSCSI 的 VMkernel 接口假設(shè)在 vSwitch1 上 esxcli network ip interface add --interface-namevmk1 --portgroup-nameiSCSI esxcli network ip interface ipv4 set --interface-namevmk1 --ipv4192.168.100.10 --netmask255.255.255.0 --typestatic # 2. 啟用 iSCSI 軟件適配器 esxcli iscsi software set --enabledtrue esxcli iscsi adapter list # 3. 綁定 VMkernel 端口到 iSCSI 適配器 esxcli iscsi networkportal add --adaptervmhba64 --nicvmk1 # 4. 添加存儲(chǔ)目標(biāo)發(fā)現(xiàn)地址 esxcli iscsi adapter discovery sendtarget add --adaptervmhba64 --address192.168.100.20:3260 # 5. 重新掃描 esxcli storage core adapter rescan --adaptervmhba64邏輯說明第 1 步的 VMkernel 接口必須和存儲(chǔ)目標(biāo)在同一網(wǎng)段且不能和 vMotion 共用。第 2 步的vmhba64是軟件 iSCSI 適配器編號(hào)不同主機(jī)可能不同用adapter list確認(rèn)。第 3 步綁定端口是 iSCSI 多路徑的前提不綁定的話 ESXi 只會(huì)走默認(rèn)路由多路徑失效。第 4 步的發(fā)現(xiàn)地址填存儲(chǔ)陣列的 iSCSI 業(yè)務(wù)口 IP端口默認(rèn) 3260。第 5 步掃描后如果看不到設(shè)備先檢查 VMkernel 能不能 ping 通存儲(chǔ)口再看存儲(chǔ)端有沒有做 ACL 限制。3.2 多路徑策略不是配了就有用要看存儲(chǔ)類型多路徑PSP策略常見的有三種MRU最近使用、Fixed固定、RR輪詢。NFS 存儲(chǔ)不用配 PSPiSCSI 和 FC 才需要。我一般對(duì) Active-Active 的存儲(chǔ)陣列用 RR對(duì) Active-Passive 的用 MRU。配錯(cuò)策略的后果是一條路徑掛了IO 不切換虛擬機(jī)直接卡死。驗(yàn)證方法很簡(jiǎn)單在 ESXi 上跑esxcli storage nmp device list看Path Selection Policy和Operational State。# 查看設(shè)備的多路徑狀態(tài) esxcli storage nmp device list # 把某個(gè)設(shè)備改成輪詢策略 esxcli storage nmp device set --devicenaa.60060160xxxx --pspVMW_PSP_RR參數(shù)說明--device后面跟的是設(shè)備 NAA ID用device list查。--psp可選VMW_PSP_RR、VMW_PSP_MRU、VMW_PSP_FIXED。改完不需要重啟但建議在業(yè)務(wù)低峰期操作因?yàn)榍袚Q瞬間可能有短暫 IO 抖動(dòng)。4. 虛擬機(jī)部署與遷移模板、規(guī)范化和批量操作方案寫到虛擬機(jī)部署這一層最容易變成“下一步下一步”的截圖流水賬。真正有價(jià)值的是模板規(guī)范和批量方法。我一般會(huì)做三件事第一做一套最小化模板只裝 VMware Tools、補(bǔ)丁和監(jiān)控代理不裝業(yè)務(wù)軟件第二給虛擬機(jī)定命名和資源規(guī)范比如業(yè)務(wù)名-環(huán)境-序號(hào)CPU 和內(nèi)存按業(yè)務(wù)等級(jí)分檔第三用 PowerCLI 批量部署而不是手動(dòng)克隆。4.1 用 PowerCLI 從模板批量克隆虛擬機(jī)下面這段腳本是我常用的批量部署骨架從模板克隆、配資源、加網(wǎng)絡(luò)、開機(jī)一次完成。# 連接 vCenter Connect-VIServer -Server vcenter.example.com -User administratorvsphere.local -Password YourPassword # 定義虛擬機(jī)清單 $vms ( {Nameapp-prod-01; TemplateTPL-Win2022; CPU4; MemoryGB8; NetworkVLAN-Prod; DatastoreDS-Prod-01}, {Nameapp-prod-02; TemplateTPL-Win2022; CPU4; MemoryGB8; NetworkVLAN-Prod; DatastoreDS-Prod-01}, {Namedb-prod-01; TemplateTPL-Win2022; CPU8; MemoryGB16; NetworkVLAN-DB; DatastoreDS-Prod-02} ) foreach ($vm in $vms) { # 從模板克隆 New-VM -Name $vm.Name -Template $vm.Template -Datastore $vm.Datastore -VMHost (Get-Cluster Cluster-Prod | Get-VMHost | Select-Object -First 1) # 配置 CPU 和內(nèi)存 Set-VM -VM $vm.Name -NumCpu $vm.CPU -MemoryGB $vm.MemoryGB -Confirm:$false # 加入指定網(wǎng)絡(luò) Get-VM -Name $vm.Name | Get-NetworkAdapter | Set-NetworkAdapter -NetworkName $vm.Network -Confirm:$false # 開機(jī) Start-VM -VM $vm.Name -Confirm:$false }邏輯說明New-VM的-VMHost參數(shù)如果不指定vCenter 會(huì)自動(dòng)選一臺(tái)宿主機(jī)但生產(chǎn)環(huán)境建議指定集群讓 DRS 決定。Set-VM改 CPU 和內(nèi)存時(shí)如果虛擬機(jī)已經(jīng)開機(jī)內(nèi)存熱添加需要操作系統(tǒng)和 VMware Tools 支持Windows 一般可以Linux 要看內(nèi)核版本。Set-NetworkAdapter改網(wǎng)絡(luò)前確認(rèn)目標(biāo)端口組已存在否則會(huì)報(bào)錯(cuò)。這段腳本適合新部署不適合遷移已有物理機(jī)。4.2 物理機(jī)遷移P2V 的適用邊界和注意點(diǎn)P2V物理機(jī)轉(zhuǎn)虛擬機(jī)在方案里經(jīng)常被寫成“一鍵遷移”實(shí)際限制很多。我一般只對(duì)滿足以下條件的物理機(jī)做 P2V磁盤小于 2TB、沒有特殊加密狗或硬件綁定、業(yè)務(wù)能接受一次停機(jī)、源機(jī)器和 ESXi 網(wǎng)絡(luò)互通。不滿足的寧可新裝虛擬機(jī)再遷數(shù)據(jù)。P2V 工具用 VMware vCenter Converter遷移前務(wù)必做全量備份因?yàn)檗D(zhuǎn)換過程中源機(jī)器磁盤如果有壞道可能直接卡死。# 遷移前在源物理機(jī)上檢查磁盤健康Linux smartctl -a /dev/sda | grep -i reallocated\|pending # 檢查磁盤大小和分區(qū) lsblk -o NAME,SIZE,TYPE,MOUNTPOINT如果Reallocated_Sector_Ct或Current_Pending_Sector不為 0先換盤再遷否則轉(zhuǎn)換到一半失敗源機(jī)器也可能起不來。這是血淚經(jīng)驗(yàn)不是理論。5. 避坑與排查服務(wù)器虛擬化落地時(shí)最容易翻車的 5 個(gè)點(diǎn)5.1 現(xiàn)象虛擬機(jī)開機(jī)后網(wǎng)絡(luò)不通但宿主機(jī)能 ping 通網(wǎng)關(guān)原因虛擬交換機(jī)安全策略里“偽傳輸”被拒絕或者端口組 VLAN ID 配錯(cuò)。解決檢查 vSwitch 安全策略把“偽傳輸”改為接受核對(duì)端口組 VLAN ID 和物理交換機(jī) Trunk 允許列表是否一致。我遇到過物理交換機(jī)端口沒放行對(duì)應(yīng) VLAN結(jié)果虛擬機(jī)發(fā)包全被丟。5.2 現(xiàn)象HA 配置成功但拔掉一臺(tái)宿主機(jī)電源后虛擬機(jī)沒起來原因集群里沒有可用的冗余容量或者虛擬機(jī)所在存儲(chǔ)是本地盤而非共享存儲(chǔ)。解決HA 的前提是共享存儲(chǔ)和預(yù)留資源。檢查集群的“接入控制”策略如果開了“集群資源百分比”但預(yù)留不夠HA 不會(huì)切換。另外虛擬機(jī)如果放在本地?cái)?shù)據(jù)存儲(chǔ)上HA 無法在其他主機(jī)上注冊(cè)。5.3 現(xiàn)象vMotion 遷移到 90% 卡住最后超時(shí)失敗原因目標(biāo)主機(jī)和源主機(jī)的 CPU 特性不一致或者 vMotion 網(wǎng)絡(luò)帶寬不足。解決集群里開啟 EVC增強(qiáng)型 vMotion 兼容性把 CPU 基線設(shè)到所有主機(jī)都支持的代次。vMotion 網(wǎng)絡(luò)建議萬兆起步千兆下遷移大內(nèi)存虛擬機(jī)會(huì)非常慢。檢查vmk接口的 vMotion 是否啟用以及 MTU 是否一致。5.4 現(xiàn)象存儲(chǔ)延遲突然飆升所有虛擬機(jī)卡頓原因某臺(tái)虛擬機(jī)在跑快照或者存儲(chǔ)路徑出現(xiàn)“全路徑死亡”。解決先看esxcli storage nmp device list里Operational State是否都是Active再看快照管理器有沒有超過 24 小時(shí)的快照?？煺詹皇莻浞蓍L(zhǎng)期保留會(huì)拖垮存儲(chǔ)性能。我一般會(huì)在方案里寫死一條快照保留不超過 48 小時(shí)。5.5 現(xiàn)象vCenter 打不開但虛擬機(jī)還在跑原因vCenter 所在的虛擬機(jī)或物理機(jī)出問題或者 STS 證書過期。解決vCenter 是管理平面掛了不影響業(yè)務(wù)平面但沒法做變更。先檢查 vCenter 虛擬機(jī)狀態(tài)如果是證書過期用certificate-manager工具續(xù)期。方案里建議把 vCenter 做成備份并記錄恢復(fù)步驟別等掛了再翻文檔。6. 進(jìn)階技巧用 esxcli 和 PowerCLI 做日常巡檢與容量趨勢(shì)方案落地不是終點(diǎn)日常巡檢才是。我習(xí)慣每周跑一次自動(dòng)化巡檢把關(guān)鍵指標(biāo)拉出來看趨勢(shì)而不是等告警。下面這段 PowerCLI 腳本用來輸出集群的 CPU、內(nèi)存和存儲(chǔ)容量趨勢(shì)配合esxcli做單機(jī)深度檢查。# 集群容量趨勢(shì)巡檢 $cluster Get-Cluster Cluster-Prod $hosts Get-VMHost -Location $cluster $report foreach ($h in $hosts) { [PSCustomObject]{ HostName $h.Name CPUUsageMHz [math]::Round($h.CpuUsageMhz / $h.CpuTotalMhz * 100, 2) MemUsagePct [math]::Round($h.MemoryUsageGB / $h.MemoryTotalGB * 100, 2) VMCount (Get-VM -Location $h).Count UptimeDays [math]::Round(((Get-Date) - $h.ExtensionData.Runtime.BootTime).TotalDays, 1) } } $report | Format-Table -AutoSize邏輯說明CpuUsageMhz和CpuTotalMhz是當(dāng)前使用和總?cè)萘克愠鰜硎前俜直?。MemUsageGB同理。VMCount看單臺(tái)宿主機(jī)密度是否過高。UptimeDays看有沒有長(zhǎng)期沒重啟的主機(jī)ESXi 雖然穩(wěn)定但補(bǔ)丁更新需要重啟超過 180 天沒重啟的機(jī)器要安排維護(hù)窗口。這段腳本可以存成.ps1配合 Windows 任務(wù)計(jì)劃每周跑一次輸出到 CSV 做趨勢(shì)對(duì)比。# 單機(jī)深度檢查存儲(chǔ)路徑和 VMkernel 接口 esxcli storage nmp path list | grep -i dead\|off esxcli network ip interface list esxcli system version getpath list里如果出現(xiàn)dead或off狀態(tài)的路徑說明存儲(chǔ)鏈路有問題要立刻查物理交換機(jī)和存儲(chǔ)端口。system version get看 ESXi 版本和 build 號(hào)方案里應(yīng)該記錄基線版本升級(jí)前確認(rèn)兼容性。我一般會(huì)把這幾條命令寫進(jìn)巡檢手冊(cè)新人照著跑一遍就能發(fā)現(xiàn) 80% 的隱患。最后說個(gè)我自己的習(xí)慣每次做完虛擬化方案我都會(huì)在文檔最后一頁留一塊“已知限制和未覆蓋場(chǎng)景”比如“本方案不包含跨機(jī)房容災(zāi)”“存儲(chǔ)單點(diǎn)未做雙活”。這塊內(nèi)容比前面所有架構(gòu)圖都值錢因?yàn)樗尯竺娼邮值娜酥肋吔缭谀牟粫?huì)以為虛擬化能解決所有問題。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取