凌晨一點(diǎn)手機(jī)連著震了三下。打開監(jiān)控一看vCenter里那個(gè)存儲(chǔ)告警已經(jīng)變成了紅色高亮——ESXi主機(jī)上的一個(gè)VMFS數(shù)據(jù)存儲(chǔ)容量使用率飆到了97%狀態(tài)直接掛上了“緊急”。再切到DELL存儲(chǔ)管理端一看后端存儲(chǔ)池的剩余空間也只剩不到5%。那一瞬間大家都是同一個(gè)感覺完蛋今天是別想睡了。這種“VMware ESXi DELL虛擬化存儲(chǔ)磁盤容量處于緊急狀態(tài)”的問題我在過去十年里處理過不下二十次。有自己環(huán)境里踩雷也有幫朋友遠(yuǎn)程救火。每次情況都差不多告警郵件半夜發(fā)出來虛擬機(jī)還在跑但心里清楚這種狀態(tài)撐不了太久。一旦數(shù)據(jù)存儲(chǔ)寫滿虛擬機(jī)的磁盤IO會(huì)直接凍結(jié)所有落盤操作全部掛起整個(gè)業(yè)務(wù)庫等于一次性停擺。所以這篇東西不聊理論只聊處理思路和落地操作。如果你是剛接手虛擬化環(huán)境的新人或者正在面對一臺(tái)容量爆紅的ESXi主機(jī)按我這個(gè)排查和處理順序走一遍大概率能把這顆雷拆掉。1. 先把“容量緊急”這件事拆清楚拿到告警第一反應(yīng)別急著刪文件。虛擬化存儲(chǔ)的容量問題往往不是“某個(gè)文件太大”這么簡單而是多層結(jié)構(gòu)疊加導(dǎo)致的。ESXi數(shù)據(jù)存儲(chǔ)是跑在物理存儲(chǔ)之上的一個(gè)邏輯層你的DELL存儲(chǔ)可能是MD系列、PowerVault系列或者SC系列也可以是戴爾服務(wù)器內(nèi)置的PERC陣列外加DAS存儲(chǔ)。無論哪種物理層是存儲(chǔ)池和RAID組邏輯層才是你在vCenter里看到的一個(gè)個(gè)Datastore。1.1 “緊急狀態(tài)”到底是什么意思VMware的告警閾值一般分兩檔默認(rèn)情況下數(shù)據(jù)存儲(chǔ)使用率達(dá)到85%時(shí)觸發(fā)“警告”Warning使用率達(dá)到95%或者更高時(shí)觸發(fā)“緊急”Critical。而在DELL OpenManage Storage Management或者Unisphere的管理界面里存儲(chǔ)池容量也有類似的閾值比如池使用率超過95%會(huì)標(biāo)記為嚴(yán)重。這套告警機(jī)制本身是保護(hù)性質(zhì)的但問題在于你不可能在告警發(fā)生的那一瞬間才去處理因?yàn)閺摹熬o急”到“徹底寫滿”往往只有一個(gè)晚上的時(shí)間差。我就見過一臺(tái)跑著數(shù)據(jù)庫的虛擬機(jī)白天看還有3%剩余夜里一個(gè)備份任務(wù)跑起來日志唰唰漲第二天早上數(shù)據(jù)存儲(chǔ)徹底滿了所有Windows Server虛擬機(jī)里的系統(tǒng)日志全部報(bào)錯(cuò)數(shù)據(jù)庫進(jìn)程直接hang住。所以在動(dòng)手之前你需要先回答三個(gè)問題告警發(fā)生的是哪一層是ESXi的數(shù)據(jù)存儲(chǔ)還是DELL存儲(chǔ)后端池告警是持續(xù)性的還是突發(fā)的持續(xù)性的多半是容量規(guī)劃問題突發(fā)的通常是快照、日志、備份文件惹的禍。當(dāng)前業(yè)務(wù)能承受多久的停機(jī)這個(gè)決定了你是走在線處理流程還是需要約維護(hù)窗口停業(yè)務(wù)處理。1.2 容量爆紅的四個(gè)常見根因我遇到的容量緊急問題九成以上都能歸到以下四類快照積壓這是最大概率的元兇。虛擬機(jī)打了快照之后增量數(shù)據(jù)全部寫在快照文件里快照越積越大原來的VMDK基礎(chǔ)盤反而成了“只讀層”。有些環(huán)境里的虛擬機(jī)開了快照之后忘了合并一個(gè)快照跑了幾個(gè)月文件大得嚇人。日志和臨時(shí)文件膨脹Windows的C盤滿了會(huì)直接影響虛擬機(jī)系統(tǒng)但更隱蔽的是應(yīng)用生成的日志文件比如IIS日志、SQL Server的errorlog、Java應(yīng)用堆棧日志它們體積變大之后直接把整個(gè)Datastore吃掉。模板和ISO鏡像殘留很多運(yùn)維人員習(xí)慣把安裝鏡像、操作系統(tǒng)模板直接放在數(shù)據(jù)存儲(chǔ)里一個(gè)Windows Server ISO 5到8GB模板幾十GB幾年下來全是看不見的“存儲(chǔ)黑洞”。Thin Provisioning的誤判ESXi層面的精簡磁盤其實(shí)際占用會(huì)隨著寫入增長而變大。如果當(dāng)初所有虛擬機(jī)都是Thick置備那空間占用在創(chuàng)建時(shí)就已經(jīng)鎖定了反倒不容易爆用了精簡置備之后每臺(tái)機(jī)器都覺得自己“用的不多”但加起來可能遠(yuǎn)超物理容量。搞清楚根因處理才有方向。下面是詳細(xì)的排查和操作流程。2. 診斷三步走從vCenter到DELL存儲(chǔ)管理端處理容量問題最忌諱的就是憑感覺。沒有查清楚問題出在哪一層之前任何刪除操作都是拿生產(chǎn)環(huán)境冒險(xiǎn)。我常用的診斷路徑是“先看ESXi數(shù)據(jù)存儲(chǔ)再看虛擬機(jī)內(nèi)部最后查DELL后端”。2.1 第一站vCenter里的Datastore狀態(tài)用vSphere Client登錄到vCenter點(diǎn)擊存儲(chǔ)視圖按使用率排序一眼就能看到哪些數(shù)據(jù)存儲(chǔ)處于“緊急”狀態(tài)。這時(shí)候先記錄幾個(gè)關(guān)鍵數(shù)據(jù)總?cè)萘渴嵌嗌僖咽褂枚嗌偈Ｓ喽嗌龠@個(gè)數(shù)據(jù)存儲(chǔ)上跑著幾臺(tái)虛擬機(jī)然后點(diǎn)進(jìn)數(shù)據(jù)存儲(chǔ)的“文件”標(biāo)簽頁把所有文件按大小排序。這一步能幫你快速判斷是不是有某個(gè)“巨無霸”文件把空間吃了。正常情況下一個(gè)數(shù)據(jù)存儲(chǔ)里應(yīng)該只有虛擬機(jī)目錄和必要的模板文件如果看到幾十GB的vswp文件或者快照文件問題基本就鎖定了。提示vCenter里的容量數(shù)字是按“文件占用”來統(tǒng)計(jì)的它無法反映底層存儲(chǔ)池的真實(shí)狀態(tài)。也就是說哪怕ESXi數(shù)據(jù)存儲(chǔ)顯示有10%剩余DELL存儲(chǔ)池可能已經(jīng)快滿了兩者必須一起看。2.2 第二站ESXi主機(jī)命令行核實(shí)底層數(shù)字有時(shí)候vCenter界面會(huì)卡或者性能數(shù)據(jù)會(huì)延遲直接SSH登錄到ESXi主機(jī)上用命令行核實(shí)一下更靠譜。這里有幾個(gè)我必須推薦的基礎(chǔ)命令df -h這個(gè)命令可以從ESXi的視角看每個(gè)VMFS卷的使用率。再看一下數(shù)據(jù)存儲(chǔ)的文件列表ls -lh /vmfs/volumes/datastore1/如果想要找一個(gè)目錄里的大文件可以用du命令du -sh /vmfs/volumes/datastore1/*/用du排一遍那些幾十GB的快照目錄、備份目錄就全暴露出來了。還需要注意一點(diǎn)vSphere Client里顯示的使用率有時(shí)候會(huì)忽略一些系統(tǒng)預(yù)留空間但df和du是比較底層的統(tǒng)計(jì)更接近真實(shí)情況。2.3 第三站DELL存儲(chǔ)管理端查物理池ESXi數(shù)據(jù)存儲(chǔ)層面看完了再回頭看DELL的存儲(chǔ)管理界面。不同型號的DELL存儲(chǔ)操作界面不一樣MD系列用MD Storage ManagerPowerVault ME系列用PowerVault ManagerSC系列用Dell Storage Manager如果是PowerEdge服務(wù)器內(nèi)置的PERC陣列則用OpenManage Server AdministratorOMSA查看這些工具的共同作用是看清楚物理硬盤組成了幾個(gè)RAID組或存儲(chǔ)池每個(gè)池的理論容量是多少熱備盤狀態(tài)如何池實(shí)際使用率是多少。如果這里的池使用率已經(jīng)超過90%那么就算ESXi數(shù)據(jù)存儲(chǔ)還有空間物理層也已經(jīng)是“肚子快撐破”的狀態(tài)必須優(yōu)先處理。實(shí)際操作中我習(xí)慣把三層數(shù)據(jù)記錄在一張表里對比層級總?cè)萘恳咽褂檬Ｓ嗍褂寐蔞Mware數(shù)據(jù)存儲(chǔ)2.0TB1.94TB60GB97%DELL存儲(chǔ)池20TB19TB1TB95%虛擬機(jī)內(nèi)部C盤200GB198GB2GB99%哪一層最先爆掉就從哪一層開始處理。但要注意三層往往是連動(dòng)的只有同時(shí)做清理和擴(kuò)容才能根治。3. 緊急處置實(shí)戰(zhàn)從止損到擴(kuò)容的完整流程診斷結(jié)束之后就進(jìn)入處理階段。我的處理順序固定為四步止損、清理、擴(kuò)容、恢復(fù)冗余。順序不能亂因?yàn)槿绻阆葎h文件再擴(kuò)容發(fā)現(xiàn)空間還是不夠虛擬機(jī)可能已經(jīng)因?yàn)镮O持續(xù)寫入而出問題了。3.1 立即止損別讓數(shù)據(jù)存儲(chǔ)徹底寫滿當(dāng)數(shù)據(jù)存儲(chǔ)使用率超過95%時(shí)最先要做的事情是踩剎車。這里的“剎車”有兩層含義一是告訴所有同事暫時(shí)不要在緊急狀態(tài)的數(shù)據(jù)存儲(chǔ)上創(chuàng)建新虛擬機(jī)、做快照、復(fù)制大文件二是檢查那些正在高速寫入日志的虛擬機(jī)必要時(shí)暫停它們的日志備份任務(wù)我在一次事故處理中就是因?yàn)闆]有第一時(shí)間停止某臺(tái)SQL服務(wù)器的凌晨維護(hù)作業(yè)導(dǎo)致一個(gè)晚上時(shí)間數(shù)據(jù)存儲(chǔ)從93%直接干到100%最后虛擬機(jī)直接IO凍結(jié)。所以止損動(dòng)作一定要快哪怕只是口頭通知也比什么都不做好。如果環(huán)境里配置了vSphere High AvailabilityHA或者Storage DRS這時(shí)候也要檢查一下這些自動(dòng)化功能是否還在正常工作。數(shù)據(jù)存儲(chǔ)空間低于一定閾值時(shí)Storage DRS可能會(huì)觸發(fā)遷移操作但如果目標(biāo)數(shù)據(jù)存儲(chǔ)空間也不足遷移會(huì)失敗反而增加額外負(fù)載。3.2 空間清理實(shí)戰(zhàn)快照、日志、臨時(shí)文件逐個(gè)擊破止損之后開始搶空間。按優(yōu)先級順序執(zhí)行第一步處理虛擬機(jī)的快照。用vSphere Client查看每臺(tái)虛擬機(jī)是否有快照。如果有先確認(rèn)這個(gè)快照是最近幾小時(shí)內(nèi)創(chuàng)建的比如升級前的備份如果是右鍵虛擬機(jī)→快照→刪除快照等待合并完成。這里的“刪除快照”不是刪除數(shù)據(jù)而是把快照的增量變化合并回原始VMDK。注意刪除快照的操作時(shí)間取決于快照文件的大小幾十GB的快照可能要等半小時(shí)以上。千萬不能中途取消否則可能導(dǎo)致虛擬磁盤損壞。對于已經(jīng)無用的老舊快照刪除之后也要確認(rèn)空間釋放情況。我處理過一個(gè)案例快照文件顯示有120GB但刪除之后數(shù)據(jù)存儲(chǔ)只釋放了80GB剩下的空間被其他文件占著不得不再做下一步。第二步清理虛擬機(jī)內(nèi)部的大文件。如果快照清理后空間依然緊張接著做虛擬機(jī)內(nèi)部清理。通過vSphere控制臺(tái)登錄到每臺(tái)虛擬機(jī)檢查以下幾個(gè)方面Windows系統(tǒng)的C盤剩余空間清理臨時(shí)文件夾%TEMP%C:\Windows\TempWindows更新的緩存文件C:\Windows\SoftwareDistribution\Download各數(shù)據(jù)庫日志文件和歷史備份文件應(yīng)用程序日志目錄這里的常用工具是Windows自帶的“磁盤清理”或者cleanmgr也可以用PowerShell把可執(zhí)行文件、垃圾緩存一并處理。第三步清理數(shù)據(jù)存儲(chǔ)里的冗余文件。打開vSphere的數(shù)據(jù)存儲(chǔ)瀏覽器找到那些明顯不需要的文件。常見的有過去的舊系統(tǒng)ISO安裝鏡像長期不用的虛擬機(jī)模板備份留下的VMDK副本孤兒vswp文件即虛擬機(jī)已關(guān)閉但vswp沒被清理的殘留在刪除這些文件之前先確認(rèn)它們確實(shí)沒有業(yè)務(wù)用途。我一般會(huì)把疑似不需要的文件先移動(dòng)到一個(gè)“待刪除”文件夾觀察一周確認(rèn)沒有問題再徹底清理。3.3 擴(kuò)容操作全解VMFS在線擴(kuò)容和新增LUN清理只能解決“燃眉之急”如果虛擬機(jī)長期增長擴(kuò)容永遠(yuǎn)是終局方案。擴(kuò)容有兩個(gè)方向給現(xiàn)有數(shù)據(jù)存儲(chǔ)擴(kuò)容或者新建一個(gè)更大的數(shù)據(jù)存儲(chǔ)。方向一給現(xiàn)有VMFS數(shù)據(jù)存儲(chǔ)在線擴(kuò)容這個(gè)過程是在VMware層面完成的。前提是底層的DELL存儲(chǔ)還有未分配的空間并且你的LUN已經(jīng)映射到ESXi主機(jī)。操作路徑為在vSphere Client中選擇目標(biāo)ESXi主機(jī)點(diǎn)擊“存儲(chǔ)”→ 選擇要擴(kuò)容的VMFS數(shù)據(jù)存儲(chǔ)點(diǎn)擊“增加容量”Increase Capacity選擇“擴(kuò)大現(xiàn)有VMFS數(shù)據(jù)存儲(chǔ)”選擇空余的存儲(chǔ)設(shè)備或者擴(kuò)展設(shè)備設(shè)置擴(kuò)容大小點(diǎn)擊“確定”整個(gè)擴(kuò)容過程可以在線完成虛擬機(jī)不需要停機(jī)。擴(kuò)容完成后數(shù)據(jù)存儲(chǔ)的總?cè)萘繒?huì)立即增加。方向二新增LUN并創(chuàng)建新數(shù)據(jù)存儲(chǔ)這是更常用也更安全的做法。在DELL存儲(chǔ)管理端從存儲(chǔ)池中劃分出一個(gè)新的LUN映射給ESXi主機(jī)然后在ESXi里執(zhí)行“新建數(shù)據(jù)存儲(chǔ)”操作選擇這個(gè)新LUN并格式化為VMFS文件系統(tǒng)。創(chuàng)建完成后需要把這臺(tái)數(shù)據(jù)存儲(chǔ)上的部分虛擬機(jī)遷移過去以此平衡容量壓力。遷移方式用Storage vMotion可以在線遷移虛擬機(jī)不用停機(jī)。3.4 收尾調(diào)整告警閾值和存儲(chǔ)推薦處理完容量之后必做的收尾工作是調(diào)整閾值否則下次告警還會(huì)以同樣方式提醒你。VMware里可以自定義數(shù)據(jù)存儲(chǔ)的使用率告警閾值比如把“警告”調(diào)整到80%“緊急”調(diào)整到90%這是給自己留出更充足的反應(yīng)時(shí)間。另外一個(gè)重要操作是在DELL存儲(chǔ)管理端如果存儲(chǔ)池支持自動(dòng)分級或者分層存儲(chǔ)可以根據(jù)熱點(diǎn)數(shù)據(jù)情況啟用相關(guān)功能讓熱數(shù)據(jù)放到高性能盤上冷數(shù)據(jù)下沉到大容量盤上從而減少整體池容量的壓力。4. 實(shí)操中常見的坑與排查技巧容量處理流程寫起來順實(shí)際操作中全是坑。下面這幾個(gè)問題我在不同環(huán)境里反復(fù)遇到過單獨(dú)列出來給大家避雷。4.1 刪除快照之后空間沒有立即釋放最常見的問題。刪除快照后vSphere界面顯示的數(shù)據(jù)存儲(chǔ)使用率可能半小時(shí)都不掉。這不一定代表沒釋放而是VMFS卷的空間統(tǒng)計(jì)有延遲。經(jīng)驗(yàn)做法是等10到15分鐘然后SSH登錄ESXi用df -h看實(shí)際空間。esxi對VMFS卷的空間管理是延遲回收的這一點(diǎn)不是故障是正常機(jī)制。如果過了很久空間確實(shí)沒有釋放需要確認(rèn)是否還有另一個(gè)快照存在或者虛擬機(jī)本身處于“已暫停快照”的狀態(tài)。另外如果虛擬機(jī)磁盤是精簡置備刪除快照后還會(huì)有一個(gè)“空間重新認(rèn)領(lǐng)”的過程需要執(zhí)行esxcli storage vmfs unmap來讓底層存儲(chǔ)真正回收空間。esxcli storage vmfs unmap --volume-labeldatastore1 --reclaim-unit20484.2 明明刪掉了一個(gè)大文件但是使用率沒變化這種情況大概率是因?yàn)閯h除操作是在Windows虛擬機(jī)內(nèi)部做的而ESXi層面的VMDK文件大小并沒有變化。原因在于VMDK是虛擬磁盤文件刪除虛擬機(jī)內(nèi)部的文件只會(huì)在VMDK內(nèi)部進(jìn)行文件空洞不會(huì)自動(dòng)從VMDK釋放回?cái)?shù)據(jù)存儲(chǔ)。解決辦法是使用esxcli storage vmfs unmap命令執(zhí)行UNMAP操作讓精簡置備的VMDK把未使用的塊歸還給數(shù)據(jù)存儲(chǔ)。前提是底層的DELL存儲(chǔ)支持自動(dòng)精簡回收。如果不支持可以考慮定期整理比如每個(gè)季度做一次全量UNMAP。4.3 精簡置備的“容量幻覺”這是一個(gè)非常隱蔽的坑。ESXi用Thin Provisioning創(chuàng)建虛擬磁盤時(shí)初始文件很小只有幾GB但它會(huì)隨著虛擬機(jī)內(nèi)部寫入逐漸增長。你把一個(gè)500GB的精簡盤給了一臺(tái)虛擬機(jī)實(shí)際復(fù)制300GB數(shù)據(jù)進(jìn)去VMDK文件就增長到了300GB。如果你給二十臺(tái)虛擬機(jī)都做了500GB精簡盤實(shí)際每臺(tái)只用100GB那么總占用是2TB看起來不多。但由于虛擬化環(huán)境是多層共享的這2TB的占用已經(jīng)算進(jìn)了數(shù)據(jù)存儲(chǔ)容量。如果再疊加快照和系統(tǒng)日志容量爆得比誰都快。應(yīng)對方案在新環(huán)境里盡量合理評估虛擬機(jī)真實(shí)容量需求重要數(shù)據(jù)庫用Thick置備或者Eager Zeroed Thick普通應(yīng)用用Thin置備但定期檢查增長趨勢。4.4 Storage DRS閾值設(shè)置不當(dāng)引發(fā)的“假緊急”有集群環(huán)境的朋友如果開了Storage DRS會(huì)發(fā)現(xiàn)數(shù)據(jù)存儲(chǔ)的使用率一直徘徊在85%左右但偶爾會(huì)跳到“緊急”狀態(tài)。這有可能是Storage DRS的I/O負(fù)載均衡閾值太敏感導(dǎo)致的I/O平衡建議和容量本身沒關(guān)系。檢查方法是在vSphere Client里看Storage DRS的推薦報(bào)告區(qū)分是I/O負(fù)載遷移還是空間容量遷移。I/O負(fù)載遷移只影響性能不影響可用性但如果你把I/O和空間閾值都設(shè)置得比較激進(jìn)會(huì)頻繁產(chǎn)生遷移動(dòng)作徒增壓力。4.5 擴(kuò)容后DELL存儲(chǔ)LUN映射不對給ESXi擴(kuò)容時(shí)最容易出現(xiàn)的操作失誤是在DELL存儲(chǔ)上劃分了新LUN卻沒有正確映射給ESXi主機(jī)或者映射了但主機(jī)沒重新掃描。處理方式是在vCenter里選擇對應(yīng)的ESXi主機(jī)點(diǎn)擊“存儲(chǔ)”→“重新掃描存儲(chǔ)”讓主機(jī)重新掃描所有的存儲(chǔ)適配器、存儲(chǔ)設(shè)備然后新LUN才會(huì)出現(xiàn)在可用設(shè)備列表里。DELL存儲(chǔ)上的映射一般有三種方式LUN映射到主機(jī)組、LUN映射到主機(jī)、LUN映射到端口組。如果之前已經(jīng)建好了主機(jī)組新LUN加入時(shí)記得同時(shí)加入對應(yīng)主機(jī)否則主機(jī)掃描不到設(shè)備。4.6 別忘了一個(gè)很小的點(diǎn)vSphere HA的心跳數(shù)據(jù)存儲(chǔ)如果集群開啟了vSphere HA系統(tǒng)會(huì)選擇一個(gè)數(shù)據(jù)存儲(chǔ)存放心跳文件這個(gè)文件非常小只有幾MB不會(huì)占用太多空間。但問題是如果這個(gè)數(shù)據(jù)存儲(chǔ)滿了HA可能會(huì)失去心跳觸發(fā)虛擬機(jī)在另一臺(tái)主機(jī)上重啟造成宕機(jī)。所以容量緊急時(shí)要特別留意當(dāng)前告警的數(shù)據(jù)存儲(chǔ)是否就是HA心跳所在的數(shù)據(jù)存儲(chǔ)。如果是清理時(shí)的首選遷移目標(biāo)要避開這臺(tái)防止HA誤判。5. 關(guān)于處理優(yōu)先級的兩點(diǎn)心得處理容量緊急問題我踩過不少坑之后總結(jié)出兩個(gè)很重要的原則寫在這里供大家參考。第一永遠(yuǎn)先保數(shù)據(jù)再保業(yè)務(wù)。如果數(shù)據(jù)存儲(chǔ)真的滿了虛擬機(jī)已經(jīng)IO凍結(jié)千萬不要強(qiáng)行做快照刪除。正確的操作是先給虛擬機(jī)關(guān)機(jī)或掛起再處理否則可能導(dǎo)致虛擬機(jī)文件系統(tǒng)損壞甚至整塊虛擬磁盤無法掛載。有一次我就遇到虛擬機(jī)在滿盤狀態(tài)下直接崩潰結(jié)果VMDK的文件系統(tǒng)部分區(qū)域損壞被迫用快照文件恢復(fù)整個(gè)過程折騰了四個(gè)小時(shí)。第二容量告警類問題能立刻處理的立刻處理不能立刻處理的也要留下一臺(tái)維護(hù)窗口。很多人看到“緊急”兩個(gè)字覺得很嚴(yán)重但其實(shí)如果你每天都有固定的巡檢習(xí)慣這種問題是可以避免的。我現(xiàn)在每周一都會(huì)寫一個(gè)腳本巡檢所有數(shù)據(jù)存儲(chǔ)和DELL存儲(chǔ)池的使用率超過80%就在群里發(fā)預(yù)警。這樣發(fā)現(xiàn)問題的時(shí)候基本不會(huì)走到“緊急”這一步。容量管理本質(zhì)上就是一層窗戶紙捅破了之后你會(huì)發(fā)現(xiàn)處理流程無非就是查、清、擴(kuò)、防四個(gè)字。真正難的是平時(shí)有沒有養(yǎng)成習(xí)慣以及告警真正來臨的時(shí)候能不能冷靜地按順序操作。希望這篇東西對你有用。