Prometheus 監(jiān)控系列搭建 Alertmanager 告警體系實(shí)現(xiàn)郵件告警全流程實(shí)戰(zhàn)第2部Prometheus告警Alertmanager介紹整體工作流程Alertmanager部署集成到Prometheus郵箱告警及告警規(guī)則驗(yàn)證郵箱告警第2部Prometheus告警摘要本文是 Prometheus 監(jiān)控系列的第 2 部分聚焦告警體系的搭建與驗(yàn)證。文章首先介紹 Alertmanager 在告警鏈路中的角色與整體工作流程隨后演示 Alertmanager 的下載、解壓、systemd 托管部署并將其集成到 Prometheus 配置中。接著以 QQ 郵箱為例詳細(xì)配置 SMTP 郵件告警接收器并編寫(xiě)基于磁盤(pán)分區(qū)使用率的 PromQL 告警規(guī)則。最后通過(guò)創(chuàng)建大文件觸發(fā)告警完整驗(yàn)證了從 Prometheus 告警觸發(fā)、Alertmanager 郵件分發(fā)到 QQ 郵箱收到通知的閉環(huán)流程。Alertmanager介紹Alertmanager 是 Prometheus 生態(tài)獨(dú)立的告警管理組件PrometheusPrometheus 負(fù)責(zé)計(jì)算告警規(guī)則把觸發(fā)的告警通過(guò) HTTP 推送給 Alertmanager由 Alertmanager 做告警降噪、分組、路由、分發(fā)通知再發(fā)給郵件、釘釘、企業(yè)微信、webhook 等渠道。?? 告警是兩套組件分工Prometheus寫(xiě)告警規(guī)則、判斷是否觸發(fā)Alertmanager只處理告警不做指標(biāo)采集與規(guī)則計(jì)算整體工作流程Prometheus 根據(jù)alert.rules規(guī)則計(jì)算條件滿(mǎn)足進(jìn)入firing狀態(tài)Prometheus 將告警 POST 發(fā)送給 Alertmanager/api/v1/alertsAlertmanager 執(zhí)行分組 → 去重 → 抑制 / 靜默過(guò)濾 → 路由匹配接收器通過(guò)接收器發(fā)送告警通知故障恢復(fù)后發(fā)送恢復(fù)通知resolved。Alertmanager部署從Prometheus官網(wǎng)獲取[rootprometheus-server ~]# wget https://github.com/prometheus/alertmanager/releases/download/v0.30.1/alertmanager-0.30.1.linux-amd64.tar.gz源碼包解壓[rootprometheus-server ~]# tar zxvf alertmanager-0.30.1.linux-amd64.tar.gzalertmanager-0.30.1.linux-amd64/ alertmanager-0.30.1.linux-amd64/alertmanager.yml alertmanager-0.30.1.linux-amd64/NOTICE alertmanager-0.30.1.linux-amd64/alertmanager alertmanager-0.30.1.linux-amd64/LICENSE alertmanager-0.30.1.linux-amd64/amtool[rootprometheus-server ~]# mv alertmanager-0.30.1.linux-amd64 /usr/local/src/alertmanager啟動(dòng)服務(wù)[rootprometheus-server ~]# nohup /usr/local/src/alertmanager/alertmanager --config.file/usr/local/src/alertmanager/alertmanager.yml [1]1787[rootprometheus-server ~]# nohup: 忽略輸入并把輸出追加到nohup.out[rootprometheus-server ~]# ps -ef | grep alertmanagerroot17871660119:15 pts/0 00:00:00 /usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager/alertmanager.yml root17951660019:15 pts/0 00:00:00grep--colorauto alertmanager使用systemd管理[rootprometheus-server ~]# kill -9 1787[rootprometheus-server ~]# vim /usr/lib/systemd/system/alertmanager.service[Service]ExecStart/usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager/alertmanager.yml[Install]WantedBymulti-user.target[Unit]DescriptionalertmanagerAfternetwork.target[rootprometheus-server ~]# systemctl daemon-reload[rootprometheus-server ~]# systemctl enable alertmanager.service --nowCreated symlink from /etc/systemd/system/multi-user.target.wants/alertmanager.service to /usr/lib/systemd/system/alertmanager.service.[rootprometheus-server ~]# systemctl status alertmanager.service● alertmanager.service - alertmanager Loaded: loaded(/usr/lib/systemd/system/alertmanager.service;enabled;vendor preset: disabled)Active: active(running)since 二2026-09-0119:18:21 CST;5s ago Main PID:1971(alertmanager)Tasks:7Memory:12.7M CGroup: /system.slice/alertmanager.service └─1971 /usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager...查看端口[rootprometheus-server ~]# ss -anput | grep 9093tcp LISTEN0128[::]:9093[::]:* users:((alertmanager,pid1971,fd7))打開(kāi)網(wǎng)頁(yè)http://192.168.18.128:9093/集成到Prometheus在Prometheus-server配置文件prometheus.yml中修改[rootprometheus-server ~]# vim /usr/local/src/prometheus/prometheus.yml//8-12行...7# Alertmanager configuration8alerting:9alertmanagers:10- static_configs:11- targets:12-192.168.100.128:9093#修改為alertmanager的IP及對(duì)應(yīng)端口... //15-16行15rule_files:16-rules/*.yml//增加alertmanager監(jiān)控項(xiàng)... - job_name:alertmanager# metrics_path defaults to /metrics# scheme defaults to http.static_configs: - targets:[192.168.100.128:9093]#重啟服務(wù)[rootprometheus-server ~]# systemctl restart prometheus.service查看Prometheus的target郵箱告警及告警規(guī)則注冊(cè)郵箱開(kāi)啟授權(quán)碼開(kāi)啟服務(wù)剛開(kāi)始服務(wù)會(huì)自動(dòng)生成授權(quán)碼,如果忘記沒(méi)有復(fù)制無(wú)法找回只能重新生成生成新的授權(quán)碼在alertmanager服務(wù)器上操作添加郵箱告警設(shè)置[rootprometheus-server ~]# cd /usr/local/src/alertmanager/[rootprometheus-server alertmanager]# cp -p alertmanager.yml alertmanager.yml.bk[rootprometheus-server alertmanager]# vim alertmanager.ymlglobal:# 全局配置塊作用于整個(gè)Alertmanagerresolve_timeout: 5m# 解析超時(shí)時(shí)間告警消失后5分鐘沒(méi)有再次收到告警則判定為故障恢復(fù)resolvedsmtp_smarthost:smtp.qq.com:465# QQ郵箱SMTP服務(wù)器地址和端口465為SSL端口smtp_from:2370787636qq.com# 發(fā)件人郵箱告警郵件顯示是誰(shuí)發(fā)出smtp_auth_username:2370787636qq.com# SMTP認(rèn)證用戶(hù)名就是QQ郵箱賬號(hào)smtp_auth_password:kjuoiwndbjyodjbc# SMTP認(rèn)證密碼QQ郵箱這里填16位授權(quán)碼不是登錄密碼smtp_hello:qq.com# SMTP HELO握手時(shí)攜帶的主機(jī)標(biāo)識(shí)QQ郵箱填qq.comsmtp_require_tls:false# 是否開(kāi)啟TLS465(SSL端口)必須關(guān)閉587端口才設(shè)置truetemplates:# 告警消息模板文件路徑自定義郵件/釘釘告警消息格式-templates/*.tmplroute:# 告警路由根節(jié)點(diǎn)告警分組、降噪、分發(fā)的核心配置group_by:[alertname,instance]# 告警分組把a(bǔ)lertnameinstance相同的多條告警合并為一條通知防止告警風(fēng)暴group_wait: 10s# 收到第一條告警后等待10秒收集同組其他告警再統(tǒng)一發(fā)送通知group_interval: 10s# 同一告警組上一組通知發(fā)完后間隔10s才允許發(fā)送本組下一次通知repeat_interval: 15m# 同一個(gè)持續(xù)未恢復(fù)告警每15分鐘重復(fù)發(fā)送一次告警通知receiver:email-notify# 本路由匹配到的告警交給哪個(gè)接收器處理receivers:# 接收器列表定義各個(gè)通知渠道郵箱、webhook釘釘?shù)? name:email-notify# 接收器名稱(chēng)route里面receiver字段要和這里名字完全一致email_configs:# 郵箱通知配置塊- to:2370787636qq.com# 收件郵箱告警郵件發(fā)給誰(shuí)send_resolved:true# 開(kāi)啟故障恢復(fù)(resolved)之后也發(fā)送恢復(fù)通知郵件inhibit_rules:[]# 告警抑制規(guī)則數(shù)組[]代表為空不配置任何自動(dòng)抑制規(guī)則重啟alertmanager[rootprometheus-server alertmanager]# systemctl restart alertmanager在Prometheus-server上操作設(shè)置告警規(guī)則[rootprometheus-server alertmanager]# mkdir /usr/local/src/prometheus/rules[rootprometheus-server alertmanager]# cd[rootprometheus-server ~]# vim /usr/local/src/prometheus/rules/node_alerts.ymlgroups:# 規(guī)則組一組告警規(guī)則集合- name: general.rules# 規(guī)則組名稱(chēng)自定義用于分類(lèi)管理多條告警規(guī)則rules:# rules該組下定義的告警規(guī)則列表- alert: NodeFilesystemUsage# alert告警名稱(chēng)告警觸發(fā)后alertname標(biāo)簽就是該值expr:100-(node_filesystem_free_bytes{mountpoint/,fstype~ext4|xfs}/ node_filesystem_size_bytes{mountpoint/,fstype~ext4|xfs}*100)30# exprPromQL表達(dá)式計(jì)算/根分區(qū)磁盤(pán)使用率使用率30滿(mǎn)足告警條件除法兩邊標(biāo)簽過(guò)濾器保持完全一致for: 1m# for持續(xù)等待時(shí)間指標(biāo)滿(mǎn)足條件必須持續(xù)1分鐘才真正觸發(fā)告警消除瞬時(shí)抖動(dòng)誤告警labels:# labels給告警添加自定義標(biāo)簽用于alertmanager做路由、抑制規(guī)則匹配severity: warning# severity告警等級(jí)標(biāo)簽warning為警告級(jí)別還有critical嚴(yán)重級(jí)別annotations:# annotations告警注釋信息僅展示不會(huì)作為告警匹配標(biāo)簽用于郵件/釘釘告警消息內(nèi)容summary:Instance {{$labels.instance }} : {{$labels.mountpoint }} 分區(qū)使用率過(guò)高# summary告警簡(jiǎn)短標(biāo)題{{ $labels.xxx }}模板語(yǔ)法動(dòng)態(tài)讀取指標(biāo)的標(biāo)簽description:{{$labels.instance }} : {{$labels.job }} : {{$labels.mountpoint }} 這個(gè)分區(qū)使用大于百分之三十(當(dāng)前值{{$value}})# description告警詳情{{ $value }}代表PromQL表達(dá)式計(jì)算出的數(shù)值結(jié)果重啟服務(wù)[rootprometheus-server ~]# systemctl restart prometheus.service驗(yàn)證郵箱告警在Prometheus-server服務(wù)器上操作先查看當(dāng)前/分區(qū)占用[rootprometheus-server ~]# df -hT文件系統(tǒng) 類(lèi)型 容量 已用 可用 已用% 掛載點(diǎn) devtmpfs devtmpfs1.9G01.9G0% /dev tmpfs tmpfs1.9G01.9G0% /dev/shm tmpfs tmpfs1.9G 12M1.9G1% /run tmpfs tmpfs1.9G01.9G0% /sys/fs/cgroup /dev/mapper/centos-root xfs 17G6.2G 11G37% / /dev/sda1 xfs 1014M 195M 820M20% /boot tmpfs tmpfs 378M0378M0% /run/user/0進(jìn)行測(cè)試創(chuàng)建大容量文件[rootprometheus-server ~]# dd if/dev/zero of/test bs10M count10000dd: 寫(xiě)入/test出錯(cuò): 設(shè)備上沒(méi)有空間 記錄了11080 的讀入 記錄了11070 的寫(xiě)出11612389376字節(jié)(12GB)已復(fù)制63.3676 秒183 MB/秒Prometheus頁(yè)面已經(jīng)出現(xiàn)告警提示alertmanager中也已經(jīng)出現(xiàn)郵件告警在qq郵箱中收到了告警郵件