簡(jiǎn)介CNware虛擬化平臺(tái)解決方案是一份聚焦企業(yè)級(jí)虛擬化與云計(jì)算規(guī)劃的技術(shù)演示PPT適合IT決策者、云平臺(tái)架構(gòu)師及運(yùn)維管理人員閱讀。內(nèi)容以航天云宏自研云操作系統(tǒng)為基礎(chǔ)系統(tǒng)梳理了虛擬化引擎、虛擬化管理、云服務(wù)管理三個(gè)核心層次并依次覆蓋方案背景、產(chǎn)品配置、客戶價(jià)值、方案優(yōu)勢(shì)與公司簡(jiǎn)介結(jié)構(gòu)清晰、邏輯完整。壓縮包內(nèi)共1個(gè)文件為1.32MB的pptx演示文稿頁(yè)數(shù)精煉且信息密度較高可直接用于內(nèi)部評(píng)審或方案匯報(bào)。目前已有164人瀏覽學(xué)習(xí)。借助這份PPT讀者可以快速了解國(guó)產(chǎn)虛擬化平臺(tái)在電信、金融、大型企業(yè)、政府等領(lǐng)域的典型落地場(chǎng)景理解從底層資源虛擬化到上層云服務(wù)運(yùn)營(yíng)的整體解決思路也可用于對(duì)標(biāo)自身虛擬化項(xiàng)目中的架構(gòu)設(shè)計(jì)和產(chǎn)品選型是一份具有實(shí)戰(zhàn)參考價(jià)值的解決方案材料。1. 從一份 PPT 講到 CNware國(guó)產(chǎn)化虛擬化平臺(tái)不是把 VMware 換個(gè)名字收到一份名為 CNware 虛擬化平臺(tái)解決方案.pptx 的材料時(shí)我第一反應(yīng)是又一個(gè)國(guó)產(chǎn)化替代的入場(chǎng)者。后來(lái)把里面的架構(gòu)圖和部署參數(shù)看完才發(fā)現(xiàn)CNware 走的是 KVM/QEMU 這條完全開(kāi)源的底座路線它解決的問(wèn)題很直接企業(yè)或數(shù)據(jù)中心要換掉商用虛擬化平臺(tái)又要保留虛機(jī)遷移、存儲(chǔ)池化、模板分發(fā)這些日常運(yùn)維習(xí)慣CNware 把這些能力收進(jìn)一個(gè)可交付的解決方案里。說(shuō)它不是把 VMware 換個(gè)名字是因?yàn)樗墓芾砻婧陀?jì)算面可以分開(kāi)部署硬件兼容性也寬松得多。適合誰(shuí)正在做國(guó)產(chǎn)化評(píng)估的甲方、IDC 運(yùn)維團(tuán)隊(duì)以及想用低成本把虛擬化平臺(tái)跑起來(lái)的實(shí)施工程師。接下來(lái)我從這張 PPT 里的方案出發(fā)把組件選型、安裝步驟和參數(shù)設(shè)置拆成一份能照著做的落地筆記。2. 先拆開(kāi)解決方案里的黑匣子CNware 的組件選型與最小實(shí)驗(yàn)環(huán)境2.1 CNware 在方案里真正賣(mài)的是哪三樣計(jì)算、存儲(chǔ)池和橋接網(wǎng)絡(luò)CNware 這類(lèi)平臺(tái)表面上是「虛擬化管理平臺(tái)」實(shí)際上交付的是三塊東西。第一塊是計(jì)算虛擬化底層直接使用 KVM 內(nèi)核模塊和 QEMU 用戶態(tài)進(jìn)程每臺(tái)物理機(jī)變成一個(gè)計(jì)算節(jié)點(diǎn)負(fù)責(zé)創(chuàng)建和管理虛擬機(jī)。第二塊是存儲(chǔ)池它并不強(qiáng)制綁定分布式存儲(chǔ)而是采用了 LVM、本地目錄、iSCSI、分布式存儲(chǔ)多種后端并存的方式這份 XXT 里的存儲(chǔ)章節(jié)重點(diǎn)強(qiáng)調(diào)了「按業(yè)務(wù)場(chǎng)景選后端」而不是像很多開(kāi)源方案那樣只推一種 Ceph。第三塊是網(wǎng)絡(luò)虛擬化借助 Linux Bridge 和 Open vSwitch 兩種模式把物理網(wǎng)卡切成多個(gè)橋接網(wǎng)絡(luò)為虛擬機(jī)提供二層或三層網(wǎng)絡(luò)能力。這三塊里最容易讓新人誤判的是存儲(chǔ)。很多人看 PPT 首頁(yè)會(huì)以為 CNware 自帶一套完整的分布式存儲(chǔ)實(shí)際上它的架構(gòu)是「存儲(chǔ)接入層」真正干活的后端可以是已有的集中式存儲(chǔ)陣列也可以是服務(wù)器內(nèi)置磁盤(pán)組成的 LVM 池。這個(gè)設(shè)計(jì)有很實(shí)際的好處如果機(jī)房已經(jīng)采購(gòu)了中端存儲(chǔ)CNware 不需要你重新買(mǎi)一套直接通過(guò) iSCSI 或者 FC 接進(jìn)來(lái)就能用如果沒(méi)有獨(dú)立存儲(chǔ)也可以用 LVM 把本地盤(pán)池化。方案 PPT 里的容量計(jì)算表一般會(huì)按「可用容量 裸容量 × RAID 效率 × 預(yù)留比例」來(lái)寫(xiě)這個(gè)公式后面的章節(jié)我會(huì)展開(kāi)算一個(gè)例子。2.2 控制面與數(shù)據(jù)面分離為什么管理網(wǎng)和業(yè)務(wù)網(wǎng)一定要拆開(kāi)CNware 的部署拓?fù)淅镉幸粋€(gè)很明確的原則管理面Managment Plane和數(shù)據(jù)面Data Plane必須分開(kāi)。管理面承載的是管理節(jié)點(diǎn)、數(shù)據(jù)庫(kù)、Agent 心跳、策略下發(fā)這些控制流量數(shù)據(jù)面承載的是虛擬機(jī)之間、虛擬機(jī)與物理網(wǎng)絡(luò)之間的真實(shí)業(yè)務(wù)流量。PPT 里的網(wǎng)絡(luò)規(guī)劃圖通常會(huì)把物理機(jī)網(wǎng)卡分成三組一組連接管理交換機(jī)一組連接業(yè)務(wù)交換機(jī)一組預(yù)留做存儲(chǔ)網(wǎng)絡(luò)。如果只有兩塊網(wǎng)卡最差也要做成兩個(gè) VLAN 分隔的 trunk把管理 VLAN 和業(yè)務(wù) VLAN 分開(kāi)走。為什么必須拆開(kāi)因?yàn)榭刂泼嬉坏┍粯I(yè)務(wù)流量擠滿最先掉鏈子的不是虛擬機(jī)性能而是管理節(jié)點(diǎn)的 Agent 心跳。心跳超時(shí)后平臺(tái)會(huì)認(rèn)為計(jì)算節(jié)點(diǎn)失聯(lián)觸發(fā)虛擬機(jī) HA 遷移如果只有一臺(tái)物理機(jī)這個(gè)操作反而可能導(dǎo)致誤關(guān)機(jī)。我見(jiàn)過(guò)一個(gè)實(shí)際案例部署時(shí)圖省事把所有流量塞在同一張網(wǎng)卡上視頻業(yè)務(wù)一上來(lái)管理面 ping 管理節(jié)點(diǎn)延遲到了 300 多毫秒平臺(tái)頻繁告警最后只能重新規(guī)劃網(wǎng)絡(luò)。CNware 的管理面一般走 TCP 8443 端口和 Agent 的 9000 端口這些端口被防火墻誤攔也會(huì)出現(xiàn)「節(jié)點(diǎn)離線」的假象后面避坑章節(jié)會(huì)說(shuō)。2.3 用一臺(tái)物理機(jī)搭出最小實(shí)驗(yàn)環(huán)境CPU、內(nèi)存、磁盤(pán)的底線參數(shù)CNware 雖然是企業(yè)級(jí)方案但做最小化驗(yàn)證并不需要三臺(tái)服務(wù)器起步。如果你只是跑通流程、驗(yàn)證遷移和模板功能一臺(tái)物理機(jī)就夠了條件是這一臺(tái)物理機(jī)同時(shí)跑管理節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)。底線參數(shù)可以參考下面的表資源最小配置推薦配置說(shuō)明CPU8 核心支持 Intel VT-x 或 AMD-V16 核心以上必須確認(rèn) BIOS 里虛擬化開(kāi)關(guān)已打開(kāi)內(nèi)存32 GB64 GB管理節(jié)點(diǎn)約占 8 GB其余給運(yùn)行中的虛擬機(jī)系統(tǒng)盤(pán)240 GB SSD480 GB SSD放管理節(jié)點(diǎn)系統(tǒng)和數(shù)據(jù)庫(kù)余量越大越耐造數(shù)據(jù)盤(pán)1 TB HDD2 TB SSD 或 RAID10作為 LVM 存儲(chǔ)池用于創(chuàng)建虛擬機(jī)磁盤(pán)網(wǎng)卡2 個(gè)千兆口2 個(gè)萬(wàn)兆口一個(gè)走管理網(wǎng)絡(luò)一個(gè)走業(yè)務(wù)網(wǎng)絡(luò)操作系統(tǒng)推薦 CentOS 7.9 或兼容版本同左內(nèi)核版本需支持 KVM 模塊這里要單獨(dú)說(shuō)一下 CPU 的坑。很多人在 Windwos 物理機(jī)里裝 VMware Workstation 時(shí)遇到過(guò)「此平臺(tái)不支持虛擬化」的提示在 CNware 裸機(jī)部署時(shí)會(huì)遇到一模一樣的現(xiàn)象裝完系統(tǒng)啟動(dòng) libvirt 檢查 KVM 可用性報(bào)錯(cuò)說(shuō) CPU 不支持虛擬化擴(kuò)展。原因幾乎都不是 CPU 真不支持而是 BIOS 里的 Intel VT-x 或 AMD-V 開(kāi)關(guān)默認(rèn)關(guān)閉或者被超線程和嵌套虛擬化配置干擾。實(shí)驗(yàn)環(huán)境里內(nèi)存和磁盤(pán)都可以湊合CPU 虛擬化開(kāi)關(guān)是硬門(mén)檻這一步不過(guò)后面全都是白費(fèi)。3. 從裸機(jī)到進(jìn)入管理面板CNware 落地的四步安裝過(guò)程3.1 第一步在 BIOS 里打開(kāi)虛擬化開(kāi)關(guān)把「虛擬化不可用」擋在第一關(guān)CNware 計(jì)算節(jié)點(diǎn)的宿主機(jī)安裝操作系統(tǒng)前有一個(gè)動(dòng)作必須先做確認(rèn) CPU 虛擬化已經(jīng)啟用。這個(gè)動(dòng)作我很建議在裝系統(tǒng)之前就完成而不是裝完之后再回頭看報(bào)錯(cuò)。重啟服務(wù)器進(jìn)入 BIOS找到 Intel Virtualization Technology 或 AMD SVM Mode 選項(xiàng)設(shè)置為 Enabled。Intel 平臺(tái)還要順帶看一眼 VT-d雖然 CNware 默認(rèn)不強(qiáng)制使用直通設(shè)備但開(kāi)了之后后續(xù)做 PCIE 直通或 SR-IOV 會(huì)方便很多。進(jìn)入已裝好的系統(tǒng)后用下面的命令確認(rèn) KVM 模塊是否加載正常# 確認(rèn) CPU 支持虛擬化擴(kuò)展 grep -E (vmx|svm) /proc/cpuinfo # 加載 KVM 內(nèi)核模塊并確認(rèn)已經(jīng)生效 modprobe kvm modprobe kvm_intel # AMD 平臺(tái)換成 kvm_amd lsmod | grep kvm邏輯說(shuō)明第一條命令在 Intel 平臺(tái)上會(huì)看到 vmx 標(biāo)志AMD 平臺(tái)上會(huì)看到 svm 標(biāo)志。如果沒(méi)有任何輸出不用往下走了回到 BIOS 里重新檢查開(kāi)關(guān)如果輸出存在但加載模塊時(shí)提示 Operation not permitted多半是嵌套虛擬化沒(méi)開(kāi)或內(nèi)核模塊被禁用。參數(shù)說(shuō)明中值得注意的是lsmod 的結(jié)果里除了 kvm 本身還應(yīng)該能看到 kvm_intel 或 kvm_amd只有 kvm 主模塊而看不到平臺(tái)模塊虛擬機(jī)創(chuàng)建時(shí)一樣會(huì)報(bào)錯(cuò)。3.2 第二步給宿主機(jī)安裝最小化系統(tǒng)分區(qū)、網(wǎng)卡和主機(jī)名的決定CNware 計(jì)算節(jié)點(diǎn)不推薦把系統(tǒng)裝成帶桌面的完整發(fā)行版最小化安裝能減少很多不必要的服務(wù)干擾。這里我一般會(huì)用 CentOS 7.9 的最小化安裝鏡像安裝時(shí)選擇「Minimal Install」。分區(qū)方案建議做成下面的形式/boot分區(qū)獨(dú)立給 1 GB根分區(qū)/用 LVM 管理預(yù)留 30% 的剩余空間不分配方便后續(xù)給 Docker 或大數(shù)據(jù)組件留余地。數(shù)據(jù)盤(pán)單獨(dú)劃分不要把手動(dòng)掛載的/data目錄也放進(jìn)根分區(qū) LVM 里后面創(chuàng)建存儲(chǔ)池會(huì)用它。網(wǎng)卡配置建議在安裝階段直接做掉。管理網(wǎng)卡配置靜態(tài) IP網(wǎng)關(guān)指向管理交換機(jī) VLAN 的網(wǎng)關(guān)業(yè)務(wù)網(wǎng)卡可以暫時(shí)不配 IP或者配置一個(gè)不沖突的網(wǎng)段地址等到管理面板里添加網(wǎng)絡(luò)時(shí)再統(tǒng)一管理。安裝完成后確認(rèn)主機(jī)名并設(shè)置時(shí)鐘同步# 設(shè)置主機(jī)名建議包含節(jié)點(diǎn)角色例如 cnware-node01 hostnamectl set-hostname cnware-node01 # 安裝 chrony 并配置 NTP 同步防止管理節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)時(shí)鐘偏差 yum install -y chrony systemctl enable --now chronyd # 驗(yàn)證時(shí)間同步狀態(tài) chronyc tracking邏輯說(shuō)明主機(jī)名和時(shí)鐘同步是很多實(shí)施工程師會(huì)跳過(guò)的步驟但這恰恰是后面集群能正常工作的基礎(chǔ)。CNware 管理節(jié)點(diǎn)會(huì)基于時(shí)間戳做任務(wù)調(diào)度如果計(jì)算節(jié)點(diǎn)和管理節(jié)點(diǎn)的時(shí)間差超過(guò) 30 秒Agent 上報(bào)的數(shù)據(jù)會(huì)出現(xiàn)沖突虛擬機(jī)的 HA 策略也會(huì)被誤觸發(fā)。參數(shù)上值得留意的細(xì)節(jié)是chronyc tracking輸出里的System time字段如果顯示超過(guò) 1000 微秒建議檢查 NTP 服務(wù)器配置而不是繼續(xù)往后走。3.3 第三步初始化管理節(jié)點(diǎn)加載平臺(tái)服務(wù)并創(chuàng)建管理員賬號(hào)管理節(jié)點(diǎn)是 CNware 的入口安裝包里通常是一個(gè)可執(zhí)行的安裝腳本常見(jiàn)做法是把整個(gè)安裝包傳上服務(wù)器后解壓進(jìn)入目錄直接運(yùn)行。為了保證可復(fù)現(xiàn)性我一般會(huì)在執(zhí)行安裝前手動(dòng)檢查幾個(gè)前置條件防火墻放行 8443 端口、SELinux 設(shè)為 permissive 或 disabled、磁盤(pán)空間滿足要求。以下命令是在管理節(jié)點(diǎn)上執(zhí)行的標(biāo)準(zhǔn)流程# 關(guān)閉 SELinux并臨時(shí)設(shè)置當(dāng)前會(huì)話 setenforce 0 sed -i s/SELINUXenforcing/SELINUXpermissive/ /etc/selinux/config # 開(kāi)放管理端口 8443 和數(shù)據(jù)庫(kù)端口 3306 firewall-cmd --permanent --add-port8443/tcp firewall-cmd --permanent --add-port3306/tcp firewall-cmd --reload # 執(zhí)行平臺(tái)初始化腳本參數(shù)為管理網(wǎng)段的 IP 和網(wǎng)段掩碼 ./install.sh --mgmt-ip 192.168.10.10 --mgmt-bits 24腳本執(zhí)行完成后終端會(huì)輸出一個(gè)管理頁(yè)面地址和臨時(shí)管理員密碼。首次登錄時(shí)需要修改密碼并創(chuàng)建新的管理員賬號(hào)。這里的核心參數(shù)是--mgmt-ip必須使用管理網(wǎng)卡的地址不能圖省事寫(xiě)成 127.0.0.1否則計(jì)算節(jié)點(diǎn)從業(yè)務(wù)網(wǎng)絡(luò)訪問(wèn)不到管理面后面注冊(cè)節(jié)點(diǎn)時(shí)就會(huì)出現(xiàn) Agent 在線異常。3.4 第四步把計(jì)算節(jié)點(diǎn)接入管理面板注冊(cè)與驗(yàn)證 Agent 心跳計(jì)算節(jié)點(diǎn)接入管理面板的方式分為兩種一種是在管理頁(yè)面的 Web 界面里點(diǎn)擊「添加計(jì)算節(jié)點(diǎn)」填入節(jié)點(diǎn) IP 和用戶名密碼平臺(tái)會(huì)自動(dòng)下發(fā) Agent 安裝包另一種是從安裝包中提取 Agent 安裝文件在計(jì)算節(jié)點(diǎn)上手工安裝。手工安裝更直觀也能把安裝日志留在本地排查命令如下# 計(jì)算節(jié)點(diǎn)上安裝 agent 包參數(shù)指向管理節(jié)點(diǎn)的 IP 和端口 tar -xzf cnware-agent.tar.gz cd cnware-agent ./install.sh --server 192.168.10.10 --port 9000 # 啟動(dòng) agent 服務(wù)并檢查運(yùn)行狀態(tài) systemctl start cnware-agent systemctl status cnware-agent # 查看 agent 日志確認(rèn)與管理節(jié)點(diǎn)的長(zhǎng)連接已建立 tail -n 50 /var/log/cnware/agent.log邏輯說(shuō)明Agent 安裝的核心參數(shù)是--server它必須指向管理節(jié)點(diǎn)的管理網(wǎng) IP而不是計(jì)算節(jié)點(diǎn)自己的 IP。很多實(shí)施人員在手工安裝時(shí)把這里的地址寫(xiě)錯(cuò)導(dǎo)致 Agent 一直處于重連狀態(tài)。驗(yàn)證成功的標(biāo)志是管理面板上節(jié)點(diǎn)狀態(tài)從「未注冊(cè)」變成「在線」同時(shí) agent.log 里出現(xiàn)心跳上報(bào)成功的記錄。這一步完成后平臺(tái)的最小編排環(huán)路已經(jīng)打通管理節(jié)點(diǎn)下發(fā)任務(wù)計(jì)算節(jié)點(diǎn)執(zhí)行虛擬機(jī)的創(chuàng)建和銷(xiāo)毀。4. 虛擬機(jī)的三個(gè)必調(diào)參數(shù)存儲(chǔ)、網(wǎng)絡(luò)和模板的坑一次說(shuō)清楚4.1 存儲(chǔ)池LVM 還是文件目錄一張表解決大多場(chǎng)景CNware 管理面板里創(chuàng)建虛擬機(jī)之前必須先有存儲(chǔ)池。很多新手在這一步會(huì)糾結(jié)選哪種存儲(chǔ)池類(lèi)型其實(shí)不需要糾結(jié)按場(chǎng)景判斷如果只有一臺(tái)計(jì)算節(jié)點(diǎn)且數(shù)據(jù)盤(pán)是本地盤(pán)直接用目錄池或者 LVM 池是最省事的如果有多臺(tái)計(jì)算節(jié)點(diǎn)且數(shù)據(jù)要漂移就必須讓存儲(chǔ)后端落在共享存儲(chǔ)上。下表是三種常用存儲(chǔ)池的適用判斷存儲(chǔ)池類(lèi)型適合場(chǎng)景優(yōu)點(diǎn)缺點(diǎn)目錄池Directory單節(jié)點(diǎn)測(cè)試、鏡像庫(kù)存放創(chuàng)建簡(jiǎn)單無(wú)需分區(qū)不支持磁盤(pán)快照的高級(jí)特性LVM 池單節(jié)點(diǎn)生產(chǎn)環(huán)境支持快照磁盤(pán)性能好擴(kuò)容需要操作卷組步驟繁瑣iSCSI 池多節(jié)點(diǎn)共享存儲(chǔ)支持虛擬機(jī)熱遷移依賴(lài)外部存儲(chǔ)陣列的穩(wěn)定性這里特別提醒一點(diǎn)LVM 池在創(chuàng)建之后虛擬機(jī)的系統(tǒng)盤(pán)會(huì)生成一個(gè)邏輯卷這個(gè)邏輯卷的默認(rèn)分配策略是立即全量分配還是精簡(jiǎn)分配會(huì)直接影響后續(xù)虛擬機(jī)克隆的體驗(yàn)。如果面板里存在「精簡(jiǎn)配置」選項(xiàng)建議開(kāi)啟否則創(chuàng)建 10 臺(tái)虛擬機(jī)就會(huì)占滿整個(gè)卷組。開(kāi)啟精簡(jiǎn)配置后虛擬機(jī)實(shí)際使用了多少空間才是占用的空間而初始創(chuàng)建只需要很小的元數(shù)據(jù)開(kāi)銷(xiāo)。4.2 業(yè)務(wù)網(wǎng)絡(luò)vSwitch、VLAN 和多網(wǎng)卡綁定的取舍CNware 的網(wǎng)絡(luò)部分采用的是「物理網(wǎng)卡 → 橋接設(shè)備 → 虛擬交換機(jī)」的層級(jí)。在管理面板里添加網(wǎng)絡(luò)時(shí)會(huì)要求選擇橋接模式Linux Bridge 模式適合大多數(shù)常規(guī)業(yè)務(wù)Open vSwitch 模式適合需要流量監(jiān)控、QoS 和隧道封裝的場(chǎng)景。如果虛擬機(jī)需要和物理機(jī)在同一網(wǎng)段通信并對(duì)外提供服務(wù)選擇 Linux Bridge 并指定一個(gè)物理網(wǎng)卡作為 uplink 就行。計(jì)算節(jié)點(diǎn)的業(yè)務(wù)網(wǎng)卡可能存在多塊這時(shí)候建議先做綁定再橋接避免虛擬機(jī)流量只走單網(wǎng)卡。常見(jiàn)做法是讓兩塊物理網(wǎng)卡做 mode 4LACP綁定然后把綁定口加入橋接設(shè)備。注意不要在綁定口上配置 IP否則 Linux Bridge 會(huì)把 IP 流量和橋接流量混在一起。VLAN 方面如果業(yè)務(wù)網(wǎng)是一個(gè) trunk 端口需要在面板上為不同租戶或不同業(yè)務(wù)創(chuàng)建獨(dú)立的 VLAN 網(wǎng)絡(luò)虛機(jī)網(wǎng)卡關(guān)聯(lián)到對(duì)應(yīng)網(wǎng)絡(luò)即可。4.3 鏡像模板從 qcow2 到 Windows 驅(qū)動(dòng)哪一步最容易被卡住模板可以說(shuō)是虛擬化平臺(tái)里「后悔藥」最多的地方但也是最容易出問(wèn)題的地方。CNware 的鏡像模板通常使用 qcow2 格式創(chuàng)建模板的方式有兩種一種是從一個(gè)安裝好的虛擬機(jī)直接「轉(zhuǎn)換為模板」另一種是上傳現(xiàn)成的 qcow2 鏡像文件。第一種方式最穩(wěn)妥因?yàn)樘摂M機(jī)的系統(tǒng)配置、網(wǎng)卡驅(qū)動(dòng)、主機(jī)名已經(jīng)正確處理模板分發(fā)出去不會(huì)有「水土不服」的問(wèn)題。Windows 虛擬機(jī)模板是重災(zāi)區(qū)。很多人在創(chuàng)建 Windows 模板時(shí)沒(méi)有安裝 VirtIO 驅(qū)動(dòng)導(dǎo)致模板分發(fā)后虛擬機(jī)網(wǎng)卡無(wú)法識(shí)別、磁盤(pán)識(shí)別異常。解決方法是創(chuàng)建 Windows 虛擬機(jī)時(shí)必須掛載 VirtIO 驅(qū)動(dòng) ISO并在系統(tǒng)安裝過(guò)程中加載對(duì)應(yīng)驅(qū)動(dòng)。經(jīng)過(guò)多次實(shí)踐我發(fā)現(xiàn)最省時(shí)間的做法是先把 Windows 系統(tǒng)裝好裝完 VirtIO 驅(qū)動(dòng)再更新系統(tǒng)補(bǔ)丁最后做 sysprep 清理系統(tǒng)標(biāo)識(shí)然后才轉(zhuǎn)成模板。省略 sysprep 的模板批量克隆后會(huì)出現(xiàn)計(jì)算機(jī)名重復(fù)、SID 沖突這些網(wǎng)絡(luò)連接問(wèn)題排錯(cuò)成本比重新做模板高得多。5. 避坑CNware 落地最容易翻車(chē)的 6 個(gè)現(xiàn)場(chǎng)現(xiàn)象、原因、解決5.1 虛擬機(jī)起不來(lái)終端報(bào)「KVM 不可用」現(xiàn)象在管理面板上創(chuàng)建虛擬機(jī)后任務(wù)秒失敗查看計(jì)算節(jié)點(diǎn)日志提示kvm: disabled by bios或operation not supported。原因BIOS 中虛擬化開(kāi)關(guān)處于關(guān)閉狀態(tài)或者內(nèi)核 kvm 模塊未加載。解決重啟進(jìn)入 BIOS 打開(kāi) Intel VT-x/AMD-V確認(rèn)/proc/cpuinfo里有 vmx/svm 標(biāo)志再執(zhí)行modprobe kvm_intel。這一條和 Windows 上跑 VMware 提示「此平臺(tái)不支持虛擬化」是同一個(gè)底層問(wèn)題盡早排查能省下大量時(shí)間。5.2 Agent 顯示離線但計(jì)算節(jié)點(diǎn)的網(wǎng)絡(luò)是通的現(xiàn)象計(jì)算節(jié)點(diǎn)注冊(cè)成功后第二天在管理面板里顯示離線但該節(jié)點(diǎn)可以正常 ping 通其他設(shè)備。原因Agent 服務(wù)進(jìn)程崩潰或心跳端口被防火墻攔截最常見(jiàn)的是管理平臺(tái)升級(jí)后Agent 版本不匹配導(dǎo)致心跳數(shù)據(jù)格式異常。解決先看systemctl status cnware-agent是否還在運(yùn)行如果服務(wù)在但離線查看/var/log/cnware/agent.log最后一段日志確認(rèn)連接是否被服務(wù)端重置。一般重啟 Agent 能解決如果反復(fù)離線重啟順序是管理節(jié)點(diǎn)的平臺(tái)服務(wù)先重啟等管理頁(yè)面可訪問(wèn)后再啟動(dòng)計(jì)算節(jié)點(diǎn) Agent 服務(wù)。5.3 虛擬機(jī)硬件配置特別高性能卻跑不滿物理機(jī)現(xiàn)象一臺(tái) 32 核 64 GB 的物理機(jī)只跑了 2 臺(tái)虛擬機(jī)但 CPU 使用率就是上不去。原因CPU 的調(diào)度策略默認(rèn)使用kvm線程的默認(rèn)權(quán)重或者在創(chuàng)建虛擬機(jī)時(shí)沒(méi)有開(kāi)啟 CPU 綁定和 NUMA 感知另一個(gè)常見(jiàn)原因是物理機(jī)的 CPU 超頻被 BIOS 關(guān)掉性能模式被設(shè)成了省電模式。解決在虛擬機(jī)配置里綁定虛擬 CPU 到物理 CPU 核心開(kāi)啟 NUMA 自動(dòng)均衡同時(shí)在 BIOS 里把 CPU 電源管理設(shè)置為 Performance 模式。5.4 存儲(chǔ)池空間充足虛擬機(jī)創(chuàng)建卻提示「卷創(chuàng)建失敗」現(xiàn)象LVM 存儲(chǔ)池顯示剩余空間有 200 GB但創(chuàng)建一臺(tái) 50 GB 磁盤(pán)的虛擬機(jī)時(shí)報(bào)錯(cuò)。原因LVM 的總空間是卷組空間但邏輯卷默認(rèn)使用lvcreate的連續(xù)分配策略物理卷上剩余的連續(xù)空閑區(qū)域不足尤其是在測(cè)試環(huán)境里反復(fù)創(chuàng)建刪除虛擬機(jī)之后碎片化嚴(yán)重。解決修改 LVM 分配策略為--alloc cling或--alloc anywhere如果面板不支持這個(gè)參數(shù)可以在存儲(chǔ)池所在宿主機(jī)上手動(dòng)用lvcreate -n vm-disk -L 50G vg-data --alloc anywhere創(chuàng)建邏輯卷再在面板上掛載為既有磁盤(pán)。這個(gè)坑在頻繁測(cè)試和刪卷的實(shí)驗(yàn)室里非常常見(jiàn)。5.5 虛擬機(jī)遷移后網(wǎng)絡(luò)變慢丟包明顯現(xiàn)象通過(guò)在線遷移把虛擬機(jī)從節(jié)點(diǎn) A 挪到節(jié)點(diǎn) B遷移后虛擬機(jī)內(nèi) ping 網(wǎng)關(guān)延遲變高甚至有 1% 的丟包。原因遷移前后的宿主機(jī)不在同一個(gè)二層網(wǎng)絡(luò)內(nèi)或者虛擬機(jī)網(wǎng)卡的橋接設(shè)備發(fā)生了漂移。遷移時(shí) CNware 只遷移了內(nèi)存和磁盤(pán)狀態(tài)但網(wǎng)絡(luò)前端類(lèi)型如果不同就會(huì)觸發(fā)降級(jí)。解決遷移前確認(rèn)兩臺(tái)計(jì)算節(jié)點(diǎn)的業(yè)務(wù)網(wǎng)絡(luò)都用同一個(gè)網(wǎng)橋且虛擬機(jī)網(wǎng)卡的驅(qū)動(dòng)類(lèi)型一致如果是 Linux Bridge遷移后手動(dòng)在面板上「斷電重啟網(wǎng)絡(luò)」重新關(guān)聯(lián)到目標(biāo)節(jié)點(diǎn)的橋接設(shè)備就能恢復(fù)。5.6 管理節(jié)點(diǎn)重啟后虛擬機(jī)全部關(guān)機(jī)沒(méi)有自動(dòng)拉起現(xiàn)象管理節(jié)點(diǎn)做了一次計(jì)劃內(nèi)重啟恢復(fù)后發(fā)現(xiàn)所有計(jì)算節(jié)點(diǎn)上的虛擬機(jī)都是關(guān)機(jī)狀態(tài)。原因CNware 的 HA 策略默認(rèn)只在「計(jì)算節(jié)點(diǎn)意外掉線」時(shí)生效管理節(jié)點(diǎn)主動(dòng)重啟不會(huì)觸發(fā)遷移同時(shí)虛擬機(jī)的「開(kāi)機(jī)自啟動(dòng)」策略默認(rèn)是關(guān)閉狀態(tài)。解決在每臺(tái)虛擬機(jī)的電源管理設(shè)置里勾選「宿主機(jī)啟動(dòng)后自動(dòng)開(kāi)機(jī)」如果是集群環(huán)境配置管理節(jié)點(diǎn)的高可用讓管理面本身具備故障轉(zhuǎn)移能力而不是依賴(lài)單臺(tái)管理節(jié)點(diǎn)。6. 用命令行驗(yàn)證集群健康把「能開(kāi)能關(guān)」變成「可度量」管理面板能做的事情命令行幾乎都能做而且命令行更適合巡檢腳本。這里分享一個(gè)我每次維護(hù)完 CNware 都會(huì)跑一遍的檢查鏈路先看物理節(jié)點(diǎn)狀態(tài)再看虛擬機(jī)的實(shí)際運(yùn)行狀態(tài)最后檢查存儲(chǔ)和網(wǎng)絡(luò)的關(guān)鍵指標(biāo)。# 查看所有計(jì)算節(jié)點(diǎn)的 CPU 和內(nèi)存占用 virsh nodeinfo virsh dominfo vm-name # 查看單臺(tái)虛機(jī)的運(yùn)行配置 # 查看存儲(chǔ)池剩余空間和虛擬磁盤(pán)狀態(tài) virsh pool-list --all virsh vol-list --pool default # 檢查橋接設(shè)備是否正常工作 ip link show br0 bridge link show br0單個(gè)命令的說(shuō)明可能不夠我把輸出結(jié)果怎么看列出來(lái)virsh nodeinfo最后的CPU model和CPU socket如果出現(xiàn)與物理機(jī)規(guī)格不符的情況說(shuō)明 BIOS 識(shí)別有問(wèn)題bridge link show里如果某個(gè)虛機(jī)網(wǎng)卡顯示state DOWN而對(duì)應(yīng)虛機(jī)是正常運(yùn)行狀態(tài)說(shuō)明網(wǎng)卡前端和后端有狀態(tài)漂移需要檢查 VirtIO 驅(qū)動(dòng)。這些檢查不出問(wèn)題平臺(tái)的健康度就有了一個(gè)大致的證明。我自己的維護(hù)習(xí)慣是每次升級(jí)管理平臺(tái)或修改存儲(chǔ)配置后不直接去 Web 界面創(chuàng)建一堆虛擬機(jī)來(lái)測(cè)試而是先用命令行跑一遍virsh list --all確認(rèn)所有虛機(jī)狀態(tài)沒(méi)有變成paused再手動(dòng)觸發(fā)一次在線遷移把一臺(tái)測(cè)試虛機(jī)從此節(jié)點(diǎn)遷到彼節(jié)點(diǎn)遷完立刻看virsh domblklist和virsh domiflist確認(rèn)磁盤(pán)和網(wǎng)卡路徑都正確。這套流程看起來(lái)慢實(shí)際上比在面板里反復(fù)點(diǎn)鼠標(biāo)快得多也能在第一時(shí)間暴露平臺(tái)級(jí)的配置偏差。CNware 虛擬化平臺(tái)這套方案最重要的一塊拼圖不是功能有多少而是遇到問(wèn)題的時(shí)候能不能快速定位到底是哪一層出了狀況。把前五章講到的架構(gòu)、參數(shù)和坑都過(guò)一遍之后再用命令行巡檢去驗(yàn)證每一步的成果整個(gè)平臺(tái)的可維護(hù)性會(huì)有明顯提升。希望這份筆記里的經(jīng)驗(yàn)和教訓(xùn)能幫你在自己的環(huán)境里少走一些彎路。本文還有配套的精品資源點(diǎn)擊獲取