1. 日志采集這件事為什么繞不開 Filebeat做后端運(yùn)維和日志分析的朋友大概率都經(jīng)歷過這樣的場景服務(wù)器上跑著七八個(gè)服務(wù)每個(gè)服務(wù)往不同的目錄寫日志排查一個(gè)線上問題要挨個(gè)登錄機(jī)器、tail -f翻半天好不容易定位到關(guān)鍵字又發(fā)現(xiàn)日志已經(jīng)被輪轉(zhuǎn)刪掉了。這種痛只要你經(jīng)歷過一次深夜排障就再也不想經(jīng)歷第二次。ElasticSearch 這套技術(shù)棧解決的就是這個(gè)問題——把散落在各臺(tái)機(jī)器上的日志集中收上來統(tǒng)一存儲(chǔ)、統(tǒng)一檢索。但問題來了日志怎么從服務(wù)器“搬”到 ElasticSearch 里去你可以自己寫腳本讀文件再調(diào) API 推送也可以用一個(gè)專門的采集器。Filebeat 就是干這個(gè)的它是 Elastic 官方出品的輕量級(jí)日志采集器專門負(fù)責(zé)把日志文件里的內(nèi)容讀出來轉(zhuǎn)發(fā)到 ElasticSearch 或者 Logstash。這篇文章適合誰看如果你是剛接觸 ELK 技術(shù)棧的運(yùn)維或后端開發(fā)想快速把 Filebeat 跑起來并接入現(xiàn)有日志體系那這篇就是給你寫的。如果你已經(jīng)用過 Logstash 但覺得它太重、太吃資源想找一個(gè)更輕的替代方案那 Filebeat 也值得你花時(shí)間了解。我會(huì)從它為什么這么設(shè)計(jì)講起一直講到配置文件怎么寫、常見坑怎么填盡量讓你看完就能上手。先說一個(gè)我自己的判斷Filebeat 最大的價(jià)值不在于功能多強(qiáng)而在于它“足夠簡單且足夠穩(wěn)”。它用 Go 語言寫的編譯出來就是一個(gè)二進(jìn)制文件沒有運(yùn)行時(shí)依賴內(nèi)存占用通常在幾十 MB 級(jí)別CPU 消耗也極低。這意味著你可以在生產(chǎn)環(huán)境的每一臺(tái)業(yè)務(wù)機(jī)器上都部署一個(gè)而不用擔(dān)心它把業(yè)務(wù)資源搶走。這一點(diǎn)是它和 Logstash 最本質(zhì)的區(qū)別——Logstash 是 JVM 應(yīng)用啟動(dòng)就要吃掉幾百 MB 甚至上 G 內(nèi)存你不太可能把它鋪到每一臺(tái)業(yè)務(wù)機(jī)上。2. Filebeat 的核心設(shè)計(jì)思路拆解2.1 它到底解決了什么問題要理解 Filebeat 的設(shè)計(jì)先得理解日志采集這件事的難點(diǎn)在哪。表面上看無非就是“讀文件、發(fā)出去”但真要做到生產(chǎn)可用你得處理一堆細(xì)節(jié)文件被輪轉(zhuǎn)了怎么辦采集進(jìn)度怎么記錄重啟后會(huì)不會(huì)重復(fù)讀或者漏讀網(wǎng)絡(luò)斷了數(shù)據(jù)發(fā)不出去是丟掉還是緩存多個(gè)采集器同時(shí)讀一個(gè)文件會(huì)不會(huì)沖突這些問題Filebeat 都替你想好了。Filebeat 的核心抽象叫Harvester收割機(jī)和Input輸入源。一個(gè) Input 可以理解為一個(gè)日志來源的配置比如“我要采集 /var/log/app/*.log 這些文件”。Filebeat 會(huì)為每個(gè)被匹配到的文件啟動(dòng)一個(gè) HarvesterHarvester 負(fù)責(zé)逐行讀取這個(gè)文件的內(nèi)容并把讀到的每一行發(fā)給處理管道。這里有個(gè)關(guān)鍵點(diǎn)一個(gè)文件同一時(shí)刻只會(huì)被一個(gè) Harvester 讀取這就避免了重復(fù)采集的問題。那進(jìn)度記錄怎么做的Filebeat 維護(hù)了一個(gè)叫Registry注冊表的文件默認(rèn)在數(shù)據(jù)目錄下的registry文件里。它記錄的是每個(gè)文件的唯一標(biāo)識(shí)inode device以及已經(jīng)讀到的偏移量offset。每次讀完一批數(shù)據(jù)并成功發(fā)送后它才會(huì)更新這個(gè)偏移量。所以即使 Filebeat 重啟它也能從上次的位置繼續(xù)讀不會(huì)從頭再來。這個(gè)機(jī)制是 Filebeat 可靠性的基石后面講配置的時(shí)候會(huì)反復(fù)提到它。2.2 為什么選 Filebeat 而不是 Logstash很多人第一次接觸日志采集學(xué)的是 Logstash因?yàn)樗δ苋?、插件多、能做?fù)雜的過濾和轉(zhuǎn)換。但用著用著就會(huì)發(fā)現(xiàn)Logstash 太重了。它基于 JRuby跑在 JVM 上一個(gè)進(jìn)程動(dòng)輒幾百 MB 內(nèi)存啟動(dòng)要幾十秒。如果你只是想把日志原樣搬走用 Logstash 就像開卡車去送一封信。Filebeat 的定位就清晰得多只做采集和轉(zhuǎn)發(fā)不做復(fù)雜處理。它把“采集”這件事做到極致輕量和穩(wěn)定復(fù)雜的過濾、富化、格式轉(zhuǎn)換交給下游的 Logstash 或者 ElasticSearch Ingest Node 去做。這種職責(zé)分離的設(shè)計(jì)讓整個(gè)鏈路更可控。你可以在一百臺(tái)機(jī)器上部署 Filebeat只在一臺(tái)機(jī)器上部署 Logstash 做集中處理資源利用效率高得多。當(dāng)然Filebeat 也不是完全不能處理數(shù)據(jù)。它支持Processors可以在發(fā)送前做一些輕量的字段增刪改比如加個(gè)標(biāo)簽、刪掉敏感字段、解析一下時(shí)間戳。但它的處理能力有限復(fù)雜的 Grok 正則解析還是建議放到 Logstash 里。我的經(jīng)驗(yàn)是能用 Filebeat 做的就別上 Logstash能少一層就少一層鏈路越短出問題的概率越小。2.3 數(shù)據(jù)流轉(zhuǎn)的完整鏈路一個(gè)典型的 Filebeat 數(shù)據(jù)鏈路是這樣的業(yè)務(wù)服務(wù)寫日志文件 → Filebeat 的 Input 發(fā)現(xiàn)文件 → Harvester 逐行讀取 → 經(jīng)過 Processors 處理 → 通過 Output 發(fā)送到 ElasticSearch 或 Logstash → 最終存入 ElasticSearch 供 Kibana 查詢。這里有個(gè)容易被忽略的細(xì)節(jié)Filebeat 讀取文件時(shí)默認(rèn)是按行讀取的每一行作為一條獨(dú)立的日志事件。如果你的日志是多行組成的比如 Java 的異常堆棧直接按行讀會(huì)把一個(gè)異常拆成好幾條查詢的時(shí)候就很痛苦。所以 Filebeat 提供了multiline配置可以把符合特定規(guī)則的多行合并成一條事件。這個(gè)配置幾乎是 Java 應(yīng)用日志采集的必備項(xiàng)后面會(huì)詳細(xì)講怎么寫。另外Filebeat 的 Output 支持 ElasticSearch、Logstash、Kafka、Redis 等多種目標(biāo)。如果你已經(jīng)有 Kafka 集群可以先發(fā)到 Kafka 做緩沖再由下游消費(fèi)寫入 ElasticSearch這樣能扛住流量高峰。如果規(guī)模不大直接發(fā) ElasticSearch 也完全夠用。3. 從零開始搭建 Filebeat 采集環(huán)境3.1 安裝與目錄結(jié)構(gòu)說明Filebeat 的安裝方式有好幾種包管理器、二進(jìn)制包、容器鏡像都行。我一般推薦用官方提供的二進(jìn)制包或者系統(tǒng)包因?yàn)樯?jí)和排查都方便。以常見的 Linux 環(huán)境為例用包管理器安裝后它的目錄結(jié)構(gòu)大致是這樣的配置文件目錄/etc/filebeat/主配置是filebeat.yml可執(zhí)行文件/usr/share/filebeat/bin/filebeat數(shù)據(jù)目錄/var/lib/filebeat/registry 文件就在這里日志目錄/var/log/filebeat/Filebeat 自己的運(yùn)行日志這里要特別提醒一句Filebeat 自己的日志和它采集的業(yè)務(wù)日志是兩回事。排查 Filebeat 本身的問題時(shí)要看/var/log/filebeat/下的日志而不是你配置采集的那些業(yè)務(wù)日志。我見過有同學(xué)配置了半天沒數(shù)據(jù)結(jié)果一直在看業(yè)務(wù)日志文件完全找錯(cuò)了方向。安裝完成后先別急著改配置用filebeat version確認(rèn)一下版本再用filebeat test config -c /etc/filebeat/filebeat.yml測試配置文件語法。這兩個(gè)命令是后面每次改配置后都建議跑一遍的能幫你提前發(fā)現(xiàn)大部分低級(jí)錯(cuò)誤。3.2 核心配置文件逐項(xiàng)拆解Filebeat 的配置文件是 YAML 格式結(jié)構(gòu)上主要分幾大塊inputs、processors、output、以及一些全局設(shè)置。下面是一個(gè)最基礎(chǔ)的采集配置示例我逐段解釋filebeat.inputs: - type: filestream id: app-log enabled: true paths: - /var/log/myapp/*.log fields: app: myapp env: prod fields_under_root: false這里type: filestream是較新版本推薦的輸入類型老版本用的是type: log。filestream 相比 log 類型在文件輪轉(zhuǎn)處理、狀態(tài)管理上更健壯新項(xiàng)目建議直接用 filestream。id是這個(gè) input 的唯一標(biāo)識(shí)改了 id 會(huì)導(dǎo)致 registry 里的狀態(tài)對不上可能觸發(fā)重新采集所以一旦上線就不要隨便改 id。paths支持通配符可以匹配多個(gè)文件。fields是給采集到的每條日志附加自定義字段方便后續(xù)在 Kibana 里按應(yīng)用或環(huán)境過濾。fields_under_root控制這些字段是放在事件根層級(jí)還是放在fields子對象下一般保持 false 就行避免和日志本身的字段沖突。接下來是輸出配置以直接發(fā) ElasticSearch 為例output.elasticsearch: hosts: [http://es-node1:9200, http://es-node2:9200] username: filebeat_writer password: your_password index: myapp-%{yyyy.MM.dd}hosts可以寫多個(gè)節(jié)點(diǎn)Filebeat 會(huì)自動(dòng)做負(fù)載均衡和故障轉(zhuǎn)移。index定義了寫入的索引名用日期做后綴是常見做法方便按天管理索引生命周期。這里有個(gè)坑索引名里的日期格式必須用%{yyyy.MM.dd}這種寫法寫成別的格式可能不生效我踩過這個(gè)坑排查了半天才發(fā)現(xiàn)是格式問題。3.3 多行日志合并的關(guān)鍵配置前面提到 Java 異常堆棧的問題這里詳細(xì)說下 multiline 怎么配。假設(shè)你的日志長這樣2024-01-15 10:23:45 ERROR [main] com.example.Service - 處理請求失敗 java.lang.NullPointerException: null at com.example.Service.handle(Service.java:42) at com.example.Controller.doPost(Controller.java:18)如果不做處理這五行會(huì)變成五條獨(dú)立事件。我們希望以時(shí)間戳開頭的行作為新事件的開始后面不以時(shí)間戳開頭的行都追加到上一條。配置如下parsers: - multiline: type: pattern pattern: ^\d{4}-\d{2}-\d{2} negate: true match: afterpattern是正則匹配以日期開頭的行。negate: true表示“不匹配這個(gè)正則的行”match: after表示把這些行合并到上一行之后。合起來的意思就是凡是不以日期開頭的行都追加到上一條事件后面。這樣就得到了完整的一條異常日志。注意multiline 配置在 filestream 輸入里是放在parsers下的而在老的 log 輸入里是直接放在 input 下的。版本不同寫法不同升級(jí)的時(shí)候要特別注意配置寫錯(cuò)位置不會(huì)報(bào)錯(cuò)但就是不生效很隱蔽。4. 實(shí)操全流程與關(guān)鍵環(huán)節(jié)實(shí)現(xiàn)4.1 采集進(jìn)度與 Registry 機(jī)制實(shí)操Registry 是 Filebeat 可靠性的核心但也是最容易出問題的地方。它的工作原理是Filebeat 為每個(gè)被采集的文件生成一個(gè)唯一標(biāo)識(shí)記錄當(dāng)前讀到的偏移量。這個(gè)標(biāo)識(shí)默認(rèn)是基于文件的 inode 和設(shè)備號(hào)生成的。問題就出在這里——如果文件被刪除后重建inode 變了Filebeat 會(huì)認(rèn)為這是一個(gè)新文件從頭開始讀。如果你的日志是按天輪轉(zhuǎn)、每天新建文件的這沒問題但如果是原地清空文件比如 app.loginode 不變但內(nèi)容沒了Filebeat 可能會(huì)讀到一堆空內(nèi)容或者行為異常。我的建議是日志輪轉(zhuǎn)一定要用 rename 新建的方式不要用清空的方式。比如用 logrotate 配置create選項(xiàng)輪轉(zhuǎn)時(shí)把老文件改名然后創(chuàng)建新文件。這樣 Filebeat 能正確識(shí)別文件切換不會(huì)漏讀也不會(huì)重復(fù)讀。另外registry 文件本身如果損壞Filebeat 啟動(dòng)時(shí)會(huì)報(bào)錯(cuò)。遇到這種情況可以刪掉 registry 文件讓它重新采集但代價(jià)是可能重復(fù)采集歷史數(shù)據(jù)。所以生產(chǎn)環(huán)境一定要給 registry 做備份或者至少知道它在哪、怎么恢復(fù)。我一般會(huì)在 Filebeat 的配置里把path.data指向一個(gè)獨(dú)立目錄方便單獨(dú)備份。4.2 輸出到 ElasticSearch 的完整配置把日志發(fā)到 ElasticSearch 是最常見的用法但配置上有幾個(gè)細(xì)節(jié)決定了它穩(wěn)不穩(wěn)。首先是認(rèn)證生產(chǎn)環(huán)境一定要開賬號(hào)密碼不要用默認(rèn)的無認(rèn)證模式。其次是索引模板Filebeat 首次連接 ElasticSearch 時(shí)會(huì)自動(dòng)安裝一個(gè)索引模板定義字段的映射類型。如果你的日志里有自定義字段建議提前在模板里定義好類型否則 ElasticSearch 可能會(huì)把數(shù)字類型的字段猜成字符串影響后續(xù)聚合查詢。一個(gè)相對完整的輸出配置長這樣output.elasticsearch: hosts: [http://es-node1:9200, http://es-node2:9200] username: filebeat_writer password: your_password index: myapp-%{yyyy.MM.dd} bulk_max_size: 1000 worker: 2 backoff.init: 1s backoff.max: 60sbulk_max_size控制每次批量發(fā)送的事件數(shù)默認(rèn)是 50對于日志量大的場景可以調(diào)大但別太大否則單次請求體過大反而容易失敗。worker是并發(fā)發(fā)送的工作協(xié)程數(shù)適當(dāng)調(diào)大能提升吞吐。backoff是發(fā)送失敗后的重試退避策略從 1 秒開始最大退到 60 秒避免網(wǎng)絡(luò)抖動(dòng)時(shí)瘋狂重試把 ElasticSearch 打掛。提示如果 ElasticSearch 開了 HTTPS 和證書校驗(yàn)還需要配置ssl.certificate_authorities指向 CA 證書。自簽證書的場景下要么把 CA 證書配進(jìn)去要么臨時(shí)關(guān)閉校驗(yàn)不推薦生產(chǎn)用。4.3 用 Processors 做輕量字段處理Filebeat 的 Processors 能在發(fā)送前對事件做處理常用的有 add_fields、drop_fields、rename、decode_json_fields 等。舉個(gè)例子如果你的日志是 JSON 格式的可以用 decode_json_fields 把 JSON 里的字段展開成獨(dú)立字段processors: - decode_json_fields: fields: [message] target: overwrite_keys: true這樣原本擠在 message 字段里的 JSON 內(nèi)容會(huì)被解析出來每個(gè) key 變成獨(dú)立字段在 Kibana 里就能直接按這些字段過濾和聚合了。overwrite_keys: true表示如果解析出的字段和已有字段重名用解析出的覆蓋。再比如你想刪掉一些敏感字段可以用 drop_fields- drop_fields: fields: [password, token] ignore_missing: trueignore_missing: true表示字段不存在時(shí)不報(bào)錯(cuò)這個(gè)一定要加上否則日志里沒有這個(gè)字段時(shí) Processor 會(huì)報(bào)錯(cuò)導(dǎo)致事件被丟棄。我的經(jīng)驗(yàn)是Processors 只做輕量處理復(fù)雜的解析和轉(zhuǎn)換留給 Logstash。Filebeat 的 Processor 能力有限正則解析、條件分支這些做起來很別扭硬要用只會(huì)讓配置變得難以維護(hù)。4.4 啟動(dòng)、驗(yàn)證與監(jiān)控配置寫好后啟動(dòng) Filebeat 并驗(yàn)證數(shù)據(jù)是否正常流轉(zhuǎn)。啟動(dòng)命令一般是systemctl start filebeat或者直接跑二進(jìn)制。啟動(dòng)后先看 Filebeat 自己的日志確認(rèn)沒有報(bào)錯(cuò)。然后去 ElasticSearch 里查一下索引有沒有創(chuàng)建、數(shù)據(jù)有沒有進(jìn)來curl -u user:pass http://es-node1:9200/_cat/indices/myapp-*?v如果索引存在但數(shù)據(jù)為空大概率是采集端的問題回去檢查 paths 是否匹配到了文件、權(quán)限是否足夠。如果索引都不存在那可能是輸出配置有問題看 Filebeat 日志里的連接錯(cuò)誤。Filebeat 還提供了監(jiān)控接口可以暴露自身的運(yùn)行指標(biāo)比如采集了多少事件、發(fā)送失敗多少次、隊(duì)列積壓多少。這些指標(biāo)對于排查“為什么數(shù)據(jù)延遲”特別有用。配置里打開http.enabled: true并設(shè)置端口就能用 curl 拉取指標(biāo)了。我一般會(huì)把這些指標(biāo)接到監(jiān)控系統(tǒng)里設(shè)置告警一旦發(fā)送失敗率升高就及時(shí)介入。5. 常見問題排查與避坑經(jīng)驗(yàn)實(shí)錄5.1 數(shù)據(jù)不采集或采集不全這是最常見的問題排查思路可以按這個(gè)順序走先確認(rèn) Filebeat 進(jìn)程在跑、配置加載成功再確認(rèn) paths 匹配的文件確實(shí)存在且有讀權(quán)限然后看 registry 里有沒有這個(gè)文件的記錄偏移量是不是已經(jīng)到文件末尾了。如果偏移量到了末尾但文件還在寫說明 Filebeat 沒檢測到新內(nèi)容可能是文件系統(tǒng)的事件通知機(jī)制有問題可以調(diào)大scan_frequency或者改用輪詢模式。權(quán)限問題特別隱蔽。Filebeat 默認(rèn)以 filebeat 用戶運(yùn)行如果日志文件的屬主是 root 且權(quán)限是 640filebeat 用戶就讀不了。這種情況要么改文件權(quán)限要么把 Filebeat 配成以 root 運(yùn)行不推薦要么把 filebeat 用戶加到日志文件的屬組里。我一般用最后一種最安全。5.2 重復(fù)采集與數(shù)據(jù)丟失重復(fù)采集通常和 registry 有關(guān)。如果 registry 文件被刪或者損壞Filebeat 會(huì)從頭采集導(dǎo)致重復(fù)。數(shù)據(jù)丟失則可能是發(fā)送失敗后沒有正確重試或者隊(duì)列滿了被丟棄。Filebeat 的內(nèi)存隊(duì)列默認(rèn)容量有限如果下游 ElasticSearch 長時(shí)間不可用隊(duì)列滿了之后新事件會(huì)被丟棄。這種情況可以調(diào)大隊(duì)列或者配置磁盤隊(duì)列queue.spool把事件先寫到磁盤上等下游恢復(fù)再發(fā)。注意磁盤隊(duì)列雖然能防丟數(shù)據(jù)但會(huì)帶來額外的磁盤 IO 和延遲是否啟用要根據(jù)業(yè)務(wù)對數(shù)據(jù)完整性的要求來權(quán)衡。日志這種數(shù)據(jù)丟幾條通常可以接受但如果涉及審計(jì)或計(jì)費(fèi)那就必須開磁盤隊(duì)列。5.3 性能調(diào)優(yōu)的幾個(gè)關(guān)鍵參數(shù)Filebeat 本身很輕但在日志量極大的場景下默認(rèn)配置可能扛不住。幾個(gè)關(guān)鍵調(diào)優(yōu)參數(shù)harvester_limit控制同時(shí)打開的 Harvester 數(shù)量避免文件太多時(shí)耗盡文件句柄bulk_max_size和worker影響發(fā)送吞吐scan_frequency影響新文件的發(fā)現(xiàn)速度。調(diào)優(yōu)的原則是先壓測再調(diào)參不要憑感覺改。我見過有人把 bulk_max_size 調(diào)到幾萬結(jié)果單次請求體過大被 ElasticSearch 拒絕反而更慢。下面這張表整理了幾個(gè)常見問題和對應(yīng)的排查方向方便快速對照現(xiàn)象可能原因排查方向完全沒有數(shù)據(jù)配置未加載、路徑不匹配、權(quán)限不足看 Filebeat 日志、檢查 paths 和文件權(quán)限數(shù)據(jù)延遲大隊(duì)列積壓、下游慢、批量參數(shù)不合理看監(jiān)控指標(biāo)、調(diào) bulk_max_size 和 worker數(shù)據(jù)重復(fù)registry 丟失或損壞檢查 registry 文件、確認(rèn)文件輪轉(zhuǎn)方式多行日志被拆散multiline 未配置或正則不對檢查 parsers 配置和正則匹配字段類型錯(cuò)誤索引模板未定義或自動(dòng)映射猜錯(cuò)提前定義模板、檢查字段映射5.4 版本升級(jí)的注意事項(xiàng)Filebeat 跨大版本升級(jí)時(shí)配置格式可能有變化比如前面提到的 log 到 filestream 的遷移。升級(jí)前一定要在測試環(huán)境驗(yàn)證重點(diǎn)檢查輸入類型、multiline 配置位置、以及 registry 的兼容性。有些版本升級(jí)后 registry 格式會(huì)變回滾時(shí)可能讀不了新格式的 registry導(dǎo)致重新采集。所以升級(jí)前備份 registry 和配置文件這是保命的操作。另外Filebeat 和 ElasticSearch 的版本最好保持一致或者相近跨太多版本可能出現(xiàn)兼容性問題。官方文檔里有版本兼容性矩陣升級(jí)前查一下能省很多事。6. 我在實(shí)際使用中總結(jié)的幾條經(jīng)驗(yàn)Filebeat 這個(gè)工具用起來簡單但要用得穩(wěn)還是得理解它背后的機(jī)制。我自己踩過的坑里最多的就是 registry 和 multiline 這兩塊。registry 決定了數(shù)據(jù)會(huì)不會(huì)重復(fù)或丟失multiline 決定了日志可讀性這兩個(gè)配置一定要在上線前反復(fù)驗(yàn)證。還有一點(diǎn)體會(huì)是不要試圖用 Filebeat 做它不擅長的事。它就是個(gè)搬運(yùn)工把日志從 A 搬到 B搬得又快又穩(wěn)就是它的全部價(jià)值。復(fù)雜的解析、富化、路由交給 Logstash 或者 ElasticSearch Ingest Node。鏈路越簡單出問題時(shí)越容易定位維護(hù)成本也越低。最后分享一個(gè)小技巧如果你不確定 multiline 正則寫得對不對可以先用filebeat test config驗(yàn)證語法再找一段真實(shí)日志用在線正則工具測一下匹配結(jié)果。正則這東西差一個(gè)字符結(jié)果就完全不同測過再上線能省掉很多半夜被叫起來排查的時(shí)間。