做運(yùn)維這些年我越來(lái)越覺(jué)得“監(jiān)控”是件挺反直覺(jué)的事情你搭它的時(shí)候總覺(jué)得“沒(méi)多大必要”等線上真的出了事故、翻日志翻到懷疑人生的時(shí)候又開(kāi)始后悔當(dāng)時(shí)怎么沒(méi)把指標(biāo)體系建得再細(xì)一點(diǎn)。尤其是Linux服務(wù)器一多CPU飆了、磁盤(pán)滿了、進(jìn)程悄悄掛了這種事靠人肉盯根本盯不過(guò)來(lái)。所以我想把最近在用的這套方案——夜鶯監(jiān)控加categraf采集器——從頭到尾梳理一遍包括部署、配置、常見(jiàn)問(wèn)題排查和那些文檔里不太會(huì)寫(xiě)的坑。如果你正準(zhǔn)備給團(tuán)隊(duì)搭一套能用、不折騰、還看得住事的監(jiān)控系統(tǒng)這篇文章應(yīng)該能讓你少走不少?gòu)澛?。這套組合的核心邏輯其實(shí)很簡(jiǎn)單categraf負(fù)責(zé)從各個(gè)Linux節(jié)點(diǎn)上采數(shù)據(jù)夜鶯監(jiān)控Nightingale負(fù)責(zé)存儲(chǔ)、展示、告警。categraf是夜鶯生態(tài)下的采集器但它本身也支持Prometheus協(xié)議、influxdb協(xié)議采集能力并不局限于夜鶯自家設(shè)備。你完全可以把它理解成一個(gè)更現(xiàn)代化的Telegraf或者node_exporter只不過(guò)配置方式、插件管理、數(shù)據(jù)上報(bào)方式都做了很多打磨。整條鏈路跑起來(lái)之后服務(wù)器的基礎(chǔ)指標(biāo)、中間件指標(biāo)、業(yè)務(wù)自定義指標(biāo)都能統(tǒng)一收口再配上告警規(guī)則誰(shuí)出了問(wèn)題一目了然。這篇文章主要面向兩類人一是剛接觸Linux系統(tǒng)監(jiān)控、想從零搭一套監(jiān)控體系的運(yùn)維新人二是已經(jīng)在用Prometheus或者其他采集器、但覺(jué)得維護(hù)成本偏高、想換一個(gè)更順手方案的進(jìn)階玩家。我會(huì)把架構(gòu)思路、安裝步驟、配置項(xiàng)含義、故障排查方法都講清楚盡量做到你是照著操作就能跑起來(lái)的程度。1. 監(jiān)控體系總體設(shè)計(jì)與組件分工在動(dòng)手部署之前先把整體架構(gòu)捋清楚后面排錯(cuò)才能有方向。很多人搭監(jiān)控喜歡“先裝上再說(shuō)”裝上之后指標(biāo)出不來(lái)就懵了其實(shí)就是沒(méi)理解數(shù)據(jù)到底是怎么流動(dòng)的。1.1 夜鶯監(jiān)控能做什么、和Prometheus有什么關(guān)系夜鶯監(jiān)控從產(chǎn)品形態(tài)上看是一個(gè)完整的可觀測(cè)性平臺(tái)覆蓋了指標(biāo)采集、數(shù)據(jù)存儲(chǔ)、可視化、告警通知這幾大塊。它早期版本直接兼容Prometheus的配置和概念比如你可以把Prometheus里的scrape_config遷過(guò)來(lái)也可以用PromQL查詢數(shù)據(jù)這就讓很多原本在Prometheus生態(tài)里做監(jiān)控的團(tuán)隊(duì)遷移成本很低。在v5之后的版本里夜鶯逐步做了自己的數(shù)據(jù)模型和告警引擎但核心思路還是“類Prometheus”指標(biāo)由采集器抓取或推送存儲(chǔ)進(jìn)時(shí)序數(shù)據(jù)庫(kù)再通過(guò)統(tǒng)一的查詢語(yǔ)言做展示和告警。和直接用Prometheus相比夜鶯的優(yōu)勢(shì)主要體現(xiàn)在兩端一是告警管理更貼近國(guó)內(nèi)團(tuán)隊(duì)的使用習(xí)慣內(nèi)置了值班、升級(jí)、靜默、聚合等功能二是有原生的大盤(pán)管理和用戶權(quán)限體系多人協(xié)作時(shí)不用自己再造一套。而且夜鶯的部署方式是“中心化”的服務(wù)端只需要部署一套所有agent上報(bào)到同一套后端規(guī)模上來(lái)之后維護(hù)成本不會(huì)線性增長(zhǎng)。當(dāng)然這不是說(shuō)夜鶯能完全替代Prometheus如果你現(xiàn)有的生態(tài)里已經(jīng)大量使用Prometheus Operator、各類exporter保留Prometheus做數(shù)據(jù)采集把夜鶯作為統(tǒng)一展示和告警入口也是常見(jiàn)做法。1.2 categraf在整個(gè)鏈路里的位置categraf在鏈路里扮演的角色簡(jiǎn)單說(shuō)就是“數(shù)據(jù)入口”。它跑在每一臺(tái)需要監(jiān)控的Linux機(jī)器上負(fù)責(zé)采集CPU、內(nèi)存、磁盤(pán)、網(wǎng)絡(luò)、進(jìn)程、日志等指標(biāo)然后通過(guò)HTTP上報(bào)給中心端的時(shí)序數(shù)據(jù)庫(kù)。和傳統(tǒng)Telegraf相比categraf最讓我喜歡的一點(diǎn)是它原生支持多種上報(bào)格式既能以Prometheus格式暴露metrics端點(diǎn)又能直接推送到VictoriaMetrics、M3DB這類存儲(chǔ)還能兼容夜鶯自己的數(shù)據(jù)格式。這樣設(shè)計(jì)的好處是你不需要在采集層做格式轉(zhuǎn)換下游怎么方便就怎么接。categraf的插件體系也值得一提。它內(nèi)置了大量input插件像cpu、mem、disk、net、system、procstat、exec等都在其中。每個(gè)插件對(duì)應(yīng)一個(gè)配置文件放在conf目錄下的input.xxx文件夾里默認(rèn)都帶了一份示例配置你只需要按需打開(kāi)或修改。這種“一個(gè)插件一個(gè)目錄”的設(shè)計(jì)比Telegraf那種集中式配置要直觀不少排查問(wèn)題的時(shí)候直接看對(duì)應(yīng)插件的conf文件就行。1.3 這套組合適合什么場(chǎng)景我不是說(shuō)所有監(jiān)控需求都應(yīng)該無(wú)腦上這一套但它確實(shí)很適合幾類典型場(chǎng)景。第一種是中小團(tuán)隊(duì)機(jī)器規(guī)模在幾十到幾百臺(tái)之間需要一個(gè)輕量、不依賴太多外部組件的監(jiān)控方案。第二種是已經(jīng)用了Prometheus、但告警和看盤(pán)管理比較痛苦、想讓開(kāi)發(fā)和運(yùn)維都能方便地看到系統(tǒng)狀態(tài)的團(tuán)隊(duì)。第三種是想把“采集、存儲(chǔ)、告警、通知”完全打通不想在自己拼一堆開(kāi)源組件之間做膠水層的團(tuán)隊(duì)。如果你們團(tuán)隊(duì)本身已經(jīng)有成熟的Prometheus Grafana Alertmanager鏈路而且運(yùn)行得很穩(wěn)定那其實(shí)沒(méi)有必要強(qiáng)行切換到夜鶯。但如果你正在選型或者對(duì)現(xiàn)狀不滿意夜鶯 categraf這套組合在易用性和完整度上確實(shí)是目前國(guó)內(nèi)開(kāi)源方案里很能打的一個(gè)。2. 環(huán)境準(zhǔn)備與部署安裝好了架構(gòu)層面聊清楚了下面進(jìn)入實(shí)操環(huán)節(jié)。這部分我會(huì)按照服務(wù)端和客戶端分開(kāi)講服務(wù)端負(fù)責(zé)存儲(chǔ)和展示客戶端就是categraf采集器。2.1 服務(wù)端準(zhǔn)備MySQL、Redis、VictoriaMetrics、n9e夜鶯服務(wù)端依賴幾個(gè)組件MySQL存元數(shù)據(jù)、Redis做緩存、VictoriaMetrics或M3DB等存時(shí)序數(shù)據(jù)最后是夜鶯自身進(jìn)程n9e。我這里以二進(jìn)制部署為例因?yàn)檫@種方式最容易理解各組件之間的關(guān)系排查問(wèn)題也更方便。首先是MySQL。版本建議選5.7或8.0裝好之后創(chuàng)建一個(gè)獨(dú)立的庫(kù)比如數(shù)據(jù)庫(kù)名可以讓夜鶯初始化腳本自動(dòng)建也可以手動(dòng)建好再導(dǎo)入。不論哪種方式都要保證字符集是utf8mb4不然有些告警內(nèi)容或標(biāo)簽值會(huì)報(bào)編碼錯(cuò)誤。Redis用默認(rèn)配置即可主要是給告警引擎和session用的如果服務(wù)端和Redis不在同一臺(tái)機(jī)器記得bind地址要改成內(nèi)網(wǎng)IP或者單獨(dú)配置訪問(wèn)控制。然后是VictoriaMetrics。這個(gè)組件我強(qiáng)烈建議單獨(dú)部署不要和夜鶯進(jìn)程混在一起跑因?yàn)闀r(shí)序數(shù)據(jù)的寫(xiě)入量比較大混在一起容易互相影響。VictoriaMetrics的單機(jī)版安裝非常簡(jiǎn)單解壓后執(zhí)行帶storageDataPath參數(shù)的啟動(dòng)命令即可。它默認(rèn)監(jiān)聽(tīng)8428端口categraf會(huì)上報(bào)到這個(gè)端口。這里有個(gè)細(xì)節(jié)夜鶯是支持配置多個(gè)數(shù)據(jù)源的但默認(rèn)情況下的時(shí)序庫(kù)地址就是指VictoriaMetrics的寫(xiě)入和查詢地址我一般會(huì)檢查一下夜鶯的etc/config.toml里Prometheus部分的配置是否和VictoriaMetrics實(shí)際端口一致。最后是n9e進(jìn)程本身。解壓安裝包之后通常需要導(dǎo)入數(shù)據(jù)庫(kù)表結(jié)構(gòu)再修改config.toml里的MySQL、Redis、時(shí)序庫(kù)連接信息最后啟動(dòng)n9e訪問(wèn)/health接口確認(rèn)服務(wù)正常。夜鶯服務(wù)端的初始化步驟官方文檔寫(xiě)得很詳細(xì)但有一個(gè)細(xì)節(jié)容易漏如果你用的是MySQL 8.0要注意默認(rèn)認(rèn)證插件是caching_sha2_password老版本的Go驅(qū)動(dòng)可能不支持建議在創(chuàng)建用戶時(shí)指定mysql_native_password。2.2 categraf客戶端安裝categraf安裝就更直接了。從GitHub或網(wǎng)盤(pán)拉取對(duì)應(yīng)CPU架構(gòu)的二進(jìn)制壓縮包解壓到指定目錄比如/opt/categraf。目錄里有兩個(gè)核心部分一個(gè)是categraf可執(zhí)行文件另一個(gè)是conf配置目錄。conf目錄下默認(rèn)有config.toml全局配置和一個(gè)叫inputs的目錄里面按插件名分了子目錄每個(gè)子目錄里放著相應(yīng)插件的配置文件。安裝完成后先別急著啟動(dòng)先改全局配置里的幾個(gè)關(guān)鍵項(xiàng)一是上報(bào)地址也就是夜鶯服務(wù)端或VictoriaMetrics的地址二是采集器自身的主機(jī)名和標(biāo)簽這決定了你之后在夜鶯上看到這臺(tái)機(jī)器叫什么名字、帶哪些標(biāo)簽。我習(xí)慣上會(huì)把region、env這種通用標(biāo)簽打在全局配置里這樣在多機(jī)房或多環(huán)境混部的時(shí)候篩選起來(lái)特別方便。改完配置之后可以先用單次模式啟動(dòng)一次驗(yàn)證配置是否正確。categraf支持直接運(yùn)行categraf --test這樣類似telegraf的測(cè)試模式它會(huì)采集一次數(shù)據(jù)并輸出結(jié)果。看到stdout里有一行行數(shù)據(jù)打印出來(lái)就可以把categraf注冊(cè)成systemd服務(wù)正式跑起來(lái)了。2.3 客戶端到服務(wù)端的連通性驗(yàn)證雖然這一步看起來(lái)很簡(jiǎn)單但很多問(wèn)題都出在這里。categraf啟動(dòng)后如果配置的上報(bào)地址是VictoriaMetrics可以直接在服務(wù)器上執(zhí)行curl -s http://服務(wù)端IP:8428/api/v1/query?queryup來(lái)查一下有沒(méi)有這個(gè)采集目標(biāo)的數(shù)據(jù)。如果返回的結(jié)果是空的說(shuō)明categraf的數(shù)據(jù)根本沒(méi)進(jìn)到存儲(chǔ)里。這個(gè)時(shí)候需要排查三層網(wǎng)絡(luò)通不通、端口通不通、數(shù)據(jù)格式對(duì)不對(duì)。網(wǎng)絡(luò)和端口層面主要是查防火墻和selinux。很多云服務(wù)器默認(rèn)安全組只放行了常用端口8428、17000這類監(jiān)控端口容易被漏掉。另外categraf上報(bào)如果走的是獨(dú)立agent端口還要確認(rèn)agent監(jiān)聽(tīng)端口有沒(méi)有放行。數(shù)據(jù)格式層面的問(wèn)題通常表現(xiàn)為categraf日志里報(bào)連接失敗或者返回非200狀態(tài)碼。這時(shí)可以把categraf日志級(jí)別調(diào)到debug它會(huì)打印出完整的HTTP請(qǐng)求地址和響應(yīng)碼很快就能定位是URL拼錯(cuò)了還是鑒權(quán)沒(méi)過(guò)。3. 采集器核心配置與指標(biāo)接入安裝跑通只是第一步真正的重頭戲在于配置采集器讓數(shù)據(jù)符合你的監(jiān)控需求。這一部分我挑幾個(gè)最重要的配置項(xiàng)和插件展開(kāi)講講覆蓋大部分人的日常所需。3.1 categraf全局配置詳解categraf的全局配置在conf/config.toml里。你打開(kāi)這個(gè)文件最先看到的會(huì)是一個(gè)[global]配置段里面有hostname、labels、interval等參數(shù)。interval是采集周期默認(rèn)15秒如果你對(duì)實(shí)時(shí)性要求高可以改成10秒、5秒但要注意采集頻率提高之后對(duì)機(jī)器和時(shí)序庫(kù)的壓力也會(huì)加大建議從默認(rèn)值開(kāi)始等需要時(shí)再調(diào)。接下來(lái)的[writer_opt]和[[writers]]配置段決定了數(shù)據(jù)往哪發(fā)。[[writers]]這里可以配置多個(gè)輸出端每個(gè)輸出端有url、basic_auth等字段。我們?nèi)粘Ｓ玫降膱?chǎng)景有兩種一種是直接把數(shù)據(jù)寫(xiě)到VictoriaMetrics的Prometheus協(xié)議接口另一種是寫(xiě)到夜鶯的collector端再由夜鶯統(tǒng)一轉(zhuǎn)發(fā)。前者更直接后者多了一層緩沖和認(rèn)證。如果你用前者寫(xiě)法類似[[writers]] url http://127.0.0.1:8428/api/v1/write # basic_auth [用戶名, 密碼]這里要特別提醒的是url末尾的路徑別寫(xiě)錯(cuò)。VictoriaMetrics兼容Prometheus remote write的接口路徑是/api/v1/write很多人習(xí)慣性寫(xiě)成/api/v1/prom/write或者/api/v1/import導(dǎo)致數(shù)據(jù)一直寫(xiě)不進(jìn)去。這個(gè)坑我踩過(guò)不止一次排查的時(shí)候繞了大半天才發(fā)現(xiàn)是路徑問(wèn)題。另外全局配置里還有[log]段、[http]段、[aha]段。[log]控制日志輸出路徑和級(jí)別排錯(cuò)時(shí)建議把level改成debug正常運(yùn)行時(shí)改成info或warn。[http]段可以開(kāi)啟一個(gè)本地HTTP端口用來(lái)暴露categraf自身的運(yùn)行指標(biāo)和pprof信息。我一般會(huì)開(kāi)啟這個(gè)端口后面排查采集器本身性能問(wèn)題時(shí)非常有用。3.2 常用插件配置CPU、內(nèi)存、磁盤(pán)、進(jìn)程categraf的inputs目錄下每個(gè)插件子目錄里都有對(duì)應(yīng)的配置文件。幾個(gè)最常用的我分別說(shuō)一下關(guān)鍵參數(shù)。CPU采集對(duì)應(yīng)的目錄是input.cpu主要配置是collect_per_cpu和collect_cpu_time這兩個(gè)布爾值。如果你只關(guān)心整體CPU使用率collect_per_cpu可以設(shè)為false減少指標(biāo)數(shù)量如果想看每個(gè)邏輯核的使用率就設(shè)為true。內(nèi)存采集對(duì)應(yīng)input.mem配置相對(duì)簡(jiǎn)單基本沒(méi)有需要改的參數(shù)默認(rèn)采集的就是能直接用于畫(huà)圖和告警的內(nèi)存使用率、可用內(nèi)存等指標(biāo)。磁盤(pán)采集對(duì)應(yīng)input.disk和input.diskio。這里的坑稍多一是mounted fs類型要選對(duì)比如你不需要采集proc、sysfs、tmpfs這類虛擬文件系統(tǒng)二是ignore_fs或者mount_point的過(guò)濾規(guī)則要配置好否則會(huì)有大量重復(fù)指標(biāo)上報(bào)。我通常會(huì)把ignore_fs設(shè)成tmpfs|devtmpfs|overlay|squashfs避免出現(xiàn)一堆云主機(jī)里掛載的無(wú)意義文件系統(tǒng)。diskio那邊默認(rèn)采集所有塊設(shè)備如果機(jī)器上有很多云盤(pán)或loop設(shè)備指標(biāo)數(shù)量會(huì)偏大建議用devices過(guò)濾一下。進(jìn)程監(jiān)控是很多人會(huì)忽略、但實(shí)際很實(shí)用的一個(gè)插件對(duì)應(yīng)input.procstat。它可以按進(jìn)程名或者pid文件監(jiān)控具體進(jìn)程的運(yùn)行狀態(tài)、CPU、內(nèi)存、線程數(shù)、文件句柄數(shù)等。配置里最關(guān)鍵的是pattern字段用來(lái)匹配進(jìn)程名。例如監(jiān)控nginx進(jìn)程[[instances]] pattern nginx這個(gè)插件設(shè)置好了以后進(jìn)程“活著但端口掛了”“進(jìn)程起來(lái)了但CPU占用異常高”這類問(wèn)題就能第一時(shí)間暴露出來(lái)。我還習(xí)慣配合一個(gè)exec插件做自定義腳本采集比如自定義采集某個(gè)日志文件大小、某個(gè)隊(duì)列長(zhǎng)度、某個(gè)API的響應(yīng)時(shí)間categraf會(huì)定期執(zhí)行腳本并把腳本輸出的格式解析成指標(biāo)。這種方式擴(kuò)展性很強(qiáng)而且不需要重新編譯采集器。3.3 數(shù)據(jù)上報(bào)與指標(biāo)驗(yàn)證配置好插件之后重啟categraf服務(wù)等待一個(gè)采集周期然后去查詢數(shù)據(jù)確認(rèn)。如果數(shù)據(jù)直接寫(xiě)到VictoriaMetrics可以用PromQL查詢驗(yàn)證比如curl -g http://127.0.0.1:8428/api/v1/query?querymem_used_percent返回結(jié)果里應(yīng)該能看到當(dāng)前機(jī)器的內(nèi)存使用率。這時(shí)再去夜鶯的“指標(biāo)查詢”頁(yè)面切到PromQL查詢模式輸入同樣的表達(dá)式如果也能查到那就說(shuō)明鏈路已經(jīng)通了。如果夜鶯頁(yè)面查不到而VictoriaMetrics里能查到問(wèn)題大概率在夜鶯的數(shù)據(jù)源配置或者時(shí)序庫(kù)地址不一致上如果兩邊都查不到回categraf日志里看是否有采集錯(cuò)誤或上報(bào)錯(cuò)誤。另外有一個(gè)小習(xí)慣我強(qiáng)烈建議養(yǎng)成給新增的采集指標(biāo)都配上host標(biāo)簽或env標(biāo)簽。很多人剛開(kāi)始搭監(jiān)控時(shí)不注意標(biāo)簽規(guī)范化等機(jī)器多了以后查詢和告警里寫(xiě)標(biāo)簽匹配規(guī)則時(shí)會(huì)特別痛苦。標(biāo)簽這玩意兒前期花半小時(shí)設(shè)計(jì)好后面能省無(wú)數(shù)個(gè)早晨。4. 告警規(guī)則與監(jiān)控面板采集器把數(shù)據(jù)送進(jìn)來(lái)只是基礎(chǔ)監(jiān)控系統(tǒng)真正產(chǎn)生價(jià)值的地方在告警和可視化。夜鶯在這兩塊的體驗(yàn)做得比較貼近用戶直覺(jué)我講講常用的配置思路。4.1 告警規(guī)則配置夜鶯的告警規(guī)則配置入口在“告警管理”模塊。新建告警規(guī)則時(shí)有幾個(gè)關(guān)鍵字段需要理解清楚規(guī)則名稱、PromQL、告警級(jí)別、執(zhí)行頻率、持續(xù)時(shí)間、通知組。PromQL是你首先要寫(xiě)對(duì)的東西。比如想告警CPU使用率超過(guò)90%持續(xù)5分鐘表達(dá)式可以寫(xiě)成cpu_usage_idle 10注意categraf的CPU指標(biāo)通常是cpu_usage_idle空閑率不是直接的usage率所以“使用率超過(guò)90%”要反過(guò)來(lái)寫(xiě)。這個(gè)細(xì)節(jié)很多人沒(méi)注意直接寫(xiě)cpu_usage 90發(fā)現(xiàn)數(shù)據(jù)永遠(yuǎn)是空的其實(shí)是字段名或者語(yǔ)義反了。執(zhí)行頻率和持續(xù)時(shí)間要配合好。我一般建議執(zhí)行頻率設(shè)置成一分鐘持續(xù)時(shí)間設(shè)置成5分鐘。這樣既不會(huì)因?yàn)樗矔r(shí)抖動(dòng)頻繁報(bào)警也不會(huì)因?yàn)榈却龝r(shí)間太長(zhǎng)錯(cuò)過(guò)故障窗口。告警級(jí)別和通知渠道方面夜鶯支持接入釘釘、企業(yè)微信、郵件、Webhook等每種渠道都能綁定到不同的告警級(jí)別。實(shí)際操作時(shí)我把P0級(jí)別的告警同時(shí)發(fā)到電話/IM和郵件P2級(jí)別只發(fā)到IM群這樣可以讓緊急問(wèn)題盡快觸達(dá)核心人員又不至于讓普通故障把大家手機(jī)震麻。還有一個(gè)容易被忽略的點(diǎn)是“告警恢復(fù)通知”。夜鶯默認(rèn)會(huì)在告警恢復(fù)后發(fā)送恢復(fù)通知這一項(xiàng)建議保持開(kāi)啟。沒(méi)有恢復(fù)通知的話值班同事經(jīng)常得在告警群里猜“現(xiàn)在到底好了沒(méi)有”體驗(yàn)很糟糕。4.2 內(nèi)置大盤(pán)與自定義面板夜鶯自帶了一些官方大盤(pán)模板比如Linux主機(jī)監(jiān)控、MySQL監(jiān)控等。如果只是看基礎(chǔ)指標(biāo)直接用內(nèi)置大盤(pán)就夠了。但內(nèi)置大盤(pán)的布局不一定符合你團(tuán)隊(duì)的習(xí)慣我一般會(huì)再?gòu)?fù)制一份做調(diào)整。夜鶯的大盤(pán)編輯是所見(jiàn)即所得的模式新增圖表時(shí)核心還是PromQL比如展示CPU使用率趨勢(shì)100 - cpu_usage_idle變量面板功能也很有用比如給大盤(pán)設(shè)置一個(gè)host的變量然后圖表里用$host去過(guò)濾。這樣你一套大盤(pán)就能看所有機(jī)器不用每臺(tái)機(jī)器建一個(gè)面板。面板類目比較多的時(shí)候建議按“主機(jī)監(jiān)控、中間件監(jiān)控、業(yè)務(wù)監(jiān)控、告警統(tǒng)計(jì)”分組。分組清晰了新人上手找面板的成本會(huì)低很多。4.3 指標(biāo)保留周期與存儲(chǔ)策略存儲(chǔ)策略這塊很多人一開(kāi)始不在乎等數(shù)據(jù)量大了才頭疼。VictoriaMetrics單機(jī)版默認(rèn)會(huì)保留所有數(shù)據(jù)如果不設(shè)置retentionPeriod參數(shù)磁盤(pán)會(huì)越用越多。建議在啟動(dòng)VictoriaMetrics時(shí)加上-retentionPeriod3或者6單位是月根據(jù)自己的實(shí)際需求設(shè)置保存時(shí)長(zhǎng)?；A(chǔ)監(jiān)控指標(biāo)保留3個(gè)月一般夠了如果要做趨勢(shì)分析、容量規(guī)劃可以保留更長(zhǎng)時(shí)間但要確保磁盤(pán)容量足夠。另外要注意存儲(chǔ)目錄的磁盤(pán)空間監(jiān)控。時(shí)序數(shù)據(jù)在指標(biāo)數(shù)量大、采集頻率高的情況下增長(zhǎng)很快如果磁盤(pán)滿了VictoriaMetrics寫(xiě)入會(huì)報(bào)錯(cuò)categraf的數(shù)據(jù)就開(kāi)始積壓。我踩過(guò)一次磁盤(pán)寫(xiě)滿的坑最后的教訓(xùn)是給監(jiān)控存儲(chǔ)單獨(dú)掛一塊盤(pán)并且把這塊盤(pán)的磁盤(pán)使用率納入基礎(chǔ)告警規(guī)則里誰(shuí)滿了第一時(shí)間告警出來(lái)。5. 常見(jiàn)問(wèn)題排查與實(shí)操避坑這一章我梳理一下實(shí)際操作里出現(xiàn)頻率比較高的幾類問(wèn)題每個(gè)問(wèn)題都按照“現(xiàn)象-排查思路-解決辦法”的格式寫(xiě)方便你到時(shí)候直接對(duì)著查。5.1 啟動(dòng)失敗與配置加載失敗categraf啟動(dòng)時(shí)報(bào)錯(cuò)最常見(jiàn)的是配置文件格式不正確。TOML格式對(duì)縮進(jìn)和引號(hào)的要求比較嚴(yán)格稍不注意就解析失敗。啟動(dòng)時(shí)報(bào)錯(cuò)信息里一般會(huì)指向具體的行號(hào)你直接打開(kāi)對(duì)應(yīng)文件看那一行附近有沒(méi)有多了或少了引號(hào)、方括號(hào)。還有可能是某插件配置文件里引用了不存在的模塊名這時(shí)categraf會(huì)提示unknown input。解決辦法是進(jìn)入conf/inputs目錄仔細(xì)核對(duì)插件目錄名和配置文件里的type字段是否一致。另一種情況是systemd啟動(dòng)失敗日志顯示沒(méi)有權(quán)限讀取某配置文件。這通常是因?yàn)閏ategraf運(yùn)行的workdir配置不對(duì)它內(nèi)部很多相對(duì)路徑是相對(duì)于當(dāng)前工作目錄的。如果用了systemd托管在service文件里要顯式指定WorkingDirectory/opt/categraf否則categraf會(huì)去當(dāng)前的默認(rèn)目錄下找conf自然找不到。5.2 數(shù)據(jù)不顯示從采集到查詢逐層排查這個(gè)問(wèn)題發(fā)生的頻率排第一。一臺(tái)機(jī)器加了監(jiān)控結(jié)果夜鶯大盤(pán)上一個(gè)指標(biāo)都沒(méi)有怎么排查按照數(shù)據(jù)流方向逐層確認(rèn)第一步確認(rèn)categraf進(jìn)程正常。執(zhí)行systemctl status categraf或者直接看進(jìn)程列表。如果進(jìn)程不在回看啟動(dòng)日志。第二步確認(rèn)categraf有沒(méi)有采集到數(shù)據(jù)。用--test模式手動(dòng)跑一次插件看看是否有指標(biāo)輸出。第三步確認(rèn)數(shù)據(jù)有沒(méi)有上報(bào)?？碿ategraf日志里有沒(méi)有write error或者網(wǎng)絡(luò)超時(shí)的記錄或者到VictoriaMetrics的接口上查一下最近時(shí)間戳有沒(méi)有新數(shù)據(jù)寫(xiě)入。第四步確認(rèn)夜鶯查詢鏈路。在夜鶯的指標(biāo)查詢頁(yè)面用裸指標(biāo)名查詢查看是否返回?cái)?shù)據(jù)。如果裸查詢有數(shù)據(jù)但面板上沒(méi)數(shù)據(jù)就檢查面板的PromQL表達(dá)式和變量過(guò)濾是否正確。實(shí)際上很多“數(shù)據(jù)不顯示”的問(wèn)題最后定位出來(lái)都是標(biāo)簽過(guò)濾條件寫(xiě)多了面板的變量host選了A而指標(biāo)上的host標(biāo)簽是B自然查不到。這種情況不是監(jiān)控壞了是查詢條件不一致。建議新手在排查這類問(wèn)題時(shí)先不加任何過(guò)濾條件查原始指標(biāo)等看到數(shù)據(jù)了再逐步添加條件一步步縮小范圍。5.3 網(wǎng)絡(luò)與防火墻問(wèn)題導(dǎo)致的寫(xiě)不進(jìn)去categraf日志里如果反復(fù)出現(xiàn)connection refused或者timed out多半是網(wǎng)絡(luò)層面的問(wèn)題。先ping一下服務(wù)端IP再telnet一下目標(biāo)端口。如果是云主機(jī)除了系統(tǒng)防火墻還要檢查安全組如果是物理機(jī)檢查iptables規(guī)則。還有一個(gè)我經(jīng)常踩的坑服務(wù)端VictoriaMetrics監(jiān)聽(tīng)的是127.0.0.1而不是0.0.0.0導(dǎo)致客戶端根本連不上。這個(gè)可以通過(guò)ss -lntp來(lái)確認(rèn)確保監(jiān)聽(tīng)地址是0.0.0.0或者內(nèi)網(wǎng)IP。另外要注意HTTP代理的影響。有些服務(wù)器設(shè)置了http_proxy環(huán)境變量categraf的上報(bào)請(qǐng)求有可能走了代理而代理又不通內(nèi)網(wǎng)地址。這種問(wèn)題表現(xiàn)得很隱蔽日志里看著是網(wǎng)絡(luò)超時(shí)但服務(wù)端和客戶端本機(jī)網(wǎng)絡(luò)都正常。解決辦法是在啟動(dòng)categraf的systemd服務(wù)里取消代理環(huán)境變量或者在配置文件的網(wǎng)絡(luò)相關(guān)部分明確不走代理。5.4 告警沒(méi)有觸發(fā)或者重復(fù)告警告警配置好了但不觸發(fā)先檢查PromQL在夜鶯查詢頁(yè)面能不能查出數(shù)據(jù)。如果查詢有數(shù)據(jù)檢查告警規(guī)則里的“持續(xù)時(shí)間”設(shè)置持續(xù)時(shí)間是5分鐘意味著指標(biāo)連續(xù)5分鐘都滿足條件才告警中間任何一次恢復(fù)到正常都會(huì)重新計(jì)時(shí)這是很多新人困惑的地方。如果查詢沒(méi)數(shù)據(jù)那說(shuō)明告警對(duì)象本身就沒(méi)有指標(biāo)需要回到數(shù)據(jù)采集層面排查。重復(fù)告警也很常見(jiàn)。夜鶯默認(rèn)會(huì)對(duì)同一規(guī)則的同一告警對(duì)象做去重但如果你配置了多個(gè)告警規(guī)則同時(shí)匹配同一指標(biāo)或者通過(guò)夜鶯的“內(nèi)置指標(biāo)”和自定義指標(biāo)重復(fù)配置了相似的規(guī)則就會(huì)造成告警風(fēng)暴。解決辦法是定期梳理告警規(guī)則保持規(guī)則盡量精簡(jiǎn)。再補(bǔ)充一個(gè)告警靜默的場(chǎng)景某臺(tái)機(jī)器做計(jì)劃內(nèi)維護(hù)導(dǎo)致CPU持續(xù)飆高這時(shí)與其關(guān)掉告警規(guī)則不如給這臺(tái)機(jī)器添加一個(gè)靜默策略。夜鶯支持按機(jī)器標(biāo)簽設(shè)置靜默時(shí)間段時(shí)間到了自動(dòng)恢復(fù)不會(huì)出現(xiàn)“維護(hù)了三天、忘了開(kāi)告警第四天才能發(fā)現(xiàn)”的尷尬局面。6. 從量到質(zhì)監(jiān)控體系的優(yōu)化心得平臺(tái)跑起來(lái)、告警響起來(lái)之后工作還沒(méi)完。我在實(shí)際運(yùn)營(yíng)這套系統(tǒng)的過(guò)程中慢慢總結(jié)出幾條經(jīng)驗(yàn)寫(xiě)在這里供你參考。6.1 資源占用與采集頻率的平衡categraf本身用Go寫(xiě)的資源占用很小在普通2C4G的機(jī)器上默認(rèn)配置下CPU占用通常在1%以內(nèi)內(nèi)存占用在100MB左右。但是當(dāng)你啟用了大量插件尤其是procstat、exec這類需要反復(fù)掃描系統(tǒng)信息的插件時(shí)資源占用會(huì)有明顯上升。我建議在上線之前在測(cè)試機(jī)上看一下top輸出確認(rèn)categraf的CPU和內(nèi)存占用是否符合預(yù)期。如果采集頻率比較激進(jìn)比如5秒一次而且同時(shí)開(kāi)了很多插件可以考慮把頻率放寬到10秒或15秒這通常不會(huì)對(duì)告警及時(shí)性造成明顯影響但能顯著降低負(fù)載。還有一個(gè)容易忽略的資源點(diǎn)是文件句柄數(shù)。categraf會(huì)打開(kāi)很多設(shè)備文件、socket連接如果機(jī)器ulimit設(shè)置得過(guò)低運(yùn)行時(shí)間長(zhǎng)了可能報(bào)too many open files。建議在systemd服務(wù)文件里設(shè)置LimitNOFILE65535或者更大。6.2 資產(chǎn)梳理與標(biāo)簽規(guī)范隨著機(jī)器數(shù)量增長(zhǎng)你會(huì)發(fā)現(xiàn)標(biāo)簽規(guī)范化是監(jiān)控系統(tǒng)后期最重要的資產(chǎn)。每一臺(tái)機(jī)器上報(bào)的數(shù)據(jù)都應(yīng)該帶有固定的標(biāo)簽機(jī)房、環(huán)境、業(yè)務(wù)線、角色。比如一臺(tái)Web服務(wù)器標(biāo)簽可以設(shè)計(jì)成idccn-east-1, envprod, serviceweb, rolenginx。這樣在做聚合和過(guò)濾的時(shí)候一條PromQL就能快速圈定范圍。標(biāo)簽規(guī)范建議在第一次部署時(shí)就定好并且要求所有新增機(jī)器嚴(yán)格遵循。我在實(shí)際工作中見(jiàn)到太多團(tuán)隊(duì)因?yàn)闆](méi)有規(guī)范后面寫(xiě)告警篩選條件時(shí)只能靠機(jī)器名模糊匹配效率極低。還有一點(diǎn)categraf全局標(biāo)簽和插件獨(dú)立標(biāo)簽不要互相覆蓋改動(dòng)標(biāo)簽時(shí)先想清楚會(huì)影響哪些存量告警規(guī)則避免一改標(biāo)簽告警全失效。6.3 最后一點(diǎn)個(gè)人經(jīng)驗(yàn)說(shuō)實(shí)話監(jiān)控系統(tǒng)這個(gè)東西搭建只是開(kāi)始后面大量的時(shí)間其實(shí)是花在“規(guī)則調(diào)優(yōu)”和“數(shù)據(jù)質(zhì)量治理”上。我的體會(huì)是不要追求一次把所有指標(biāo)都采全、把所有告警都配上而是先鋪一個(gè)最小可用集合CPU、內(nèi)存、磁盤(pán)、網(wǎng)絡(luò)、關(guān)鍵進(jìn)程。跑一段時(shí)間觀察哪些告警是有價(jià)值的、哪些是噪音再逐步增加更多的中間件和業(yè)務(wù)指標(biāo)。先把鏈路弄通再慢慢做厚這個(gè)路徑是最穩(wěn)的。我還習(xí)慣在夜鶯上建一塊“告警統(tǒng)計(jì)”大盤(pán)用來(lái)匯總每天、每周的告警數(shù)量、Top告警對(duì)象、告警恢復(fù)耗時(shí)。通過(guò)這個(gè)大盤(pán)能比較直觀地發(fā)現(xiàn)哪些機(jī)器總是出問(wèn)題、哪些告警規(guī)則一直在吵但沒(méi)人處理然后定期做一輪治理。監(jiān)控不是用來(lái)“嚇人”的它是幫你提前發(fā)現(xiàn)風(fēng)險(xiǎn)的信號(hào)系統(tǒng)。希望這套夜鶯加categraf的方案能讓你在遇到故障的時(shí)候少一點(diǎn)手忙腳亂多一點(diǎn)從容排查的底氣。