簡介這份資源面向從事系統(tǒng)備份與數(shù)據(jù)保護(hù)工作的開發(fā)者及系統(tǒng)管理員圍繞“dumptar”這一整合思路展開將 dump 的系統(tǒng)級鏡像能力與 tar 的文件打包壓縮能力結(jié)合可用于三星設(shè)備或基于 Linux 的 Android 環(huán)境中定期創(chuàng)建包含系統(tǒng)狀態(tài)的壓縮備份降低系統(tǒng)故障或數(shù)據(jù)丟失帶來的風(fēng)險(xiǎn)。壓縮包共 37 個(gè)文件約 17.73MB以 cpp、h、obj 等 C 源碼與編譯中間文件為主輔以 lib、dll、exp 等庫與動(dòng)態(tài)鏈接文件以及 sln、vcxproj 等工程配置和 pdb、ilk 等調(diào)試符號文件另含 tlog、log 日志與 ReadMe 說明構(gòu)成一套可直接用 Visual Studio 打開研究的完整工程。已有 232 人學(xué)習(xí)下載。讀者可從中了解 dumptar 的工程組織方式、備份命令的封裝邏輯與 detours 相關(guān)依賴的接入方法并借助調(diào)試符號與日志文件排查編譯運(yùn)行問題為自建備份工具或二次開發(fā)提供參考。1. 安安dumptar一個(gè)把容器鏡像拆開看的取證小工具到底解決什么問題線上容器出問題最怕的不是報(bào)錯(cuò)而是“現(xiàn)場沒了”。容器一重啟可寫層被清空日志被輪轉(zhuǎn)進(jìn)程內(nèi)存釋放你手里只剩一個(gè)還在跑的鏡像 tag 和一堆猜。安安dumptar 這個(gè)標(biāo)題指向的就是這類場景把運(yùn)行中或已停止容器的文件系統(tǒng)、鏡像層、關(guān)鍵元數(shù)據(jù)“倒”出來落成一份可離線分析、可歸檔、可復(fù)現(xiàn)的取證包。它不負(fù)責(zé)抓流量也不負(fù)責(zé)內(nèi)存 dump核心價(jià)值是把容器那層“黑匣子”變成能翻能查的目錄樹。適合誰做容器排障的運(yùn)維、做應(yīng)急響應(yīng)的安全同學(xué)、以及需要給事故留后悔藥的 SRE。下面按“先立住原理、再動(dòng)手復(fù)現(xiàn)、最后講坑”的順序拆開講。2. 先把容器文件系統(tǒng)講透dumptar 到底在倒什么2.1 容器可寫層與鏡像層的分層關(guān)系要理解 dumptar 在做什么先得把容器文件系統(tǒng)的分層模型擺清楚。常見容器運(yùn)行時(shí)containerd、CRI-O 這類落地到磁盤上一個(gè)容器實(shí)例由兩部分組成只讀的鏡像層image layers和可寫的容器層container layer也叫 upperdir。鏡像層是多個(gè) tar 包按順序疊加出來的每一層只記錄相對上一層的增量容器層則記錄容器啟動(dòng)后所有寫操作包括新建文件、修改文件、刪除文件刪除在 overlay 里表現(xiàn)為 whiteout 文件。dumptar 這類工具的核心動(dòng)作就是把這套分層結(jié)構(gòu)“拍平”或“原樣保留”地導(dǎo)出。拍平導(dǎo)出得到的是一個(gè)合并后的根文件系統(tǒng)視圖適合直接翻查原樣保留則把每一層的 tar 和層間關(guān)系一起帶走適合做層級別的差異分析。兩種模式各有用途選錯(cuò)了后面分析會(huì)很別扭。我一般會(huì)先拍平看整體再按需回?fù)圃紝?。這里有個(gè)容易忽略的點(diǎn)容器層里的刪除操作不是真的刪文件而是在可寫層放一個(gè)字符設(shè)備 0/0 的 whiteout 文件。如果你只 tar 可寫層而不處理 whiteout恢復(fù)出來的目錄會(huì)“看起來有文件、實(shí)際已被刪”分析時(shí)容易誤判。dumptar 在拍平模式下必須正確應(yīng)用 whiteout 語義這是它和“直接 tar 一個(gè)目錄”最本質(zhì)的區(qū)別。2.2 為什么不能直接 docker cp 或 tar 整個(gè)目錄很多人第一反應(yīng)是docker cp把容器根目錄拷出來或者直接對 overlay 的 merged 目錄tar。這兩種做法在取證場景下都有硬傷。docker cp走的是運(yùn)行時(shí) API對運(yùn)行中容器會(huì)有一致性問題拷貝過程中文件還在變你拿到的可能是半新半舊的混合態(tài)而且它默認(rèn)不保留某些特殊文件設(shè)備節(jié)點(diǎn)、部分?jǐn)U展屬性權(quán)限位也可能被改寫。直接 tar merged 目錄同樣有一致性問題還會(huì)把 overlay 的偽文件系統(tǒng)比如 /proc、/sys 掛載點(diǎn)一起卷進(jìn)來包體巨大且無意義。dumptar 的價(jià)值就在于它知道“哪些該倒、哪些該跳過、倒的時(shí)候怎么保證一致性”。常見做法是先對容器做 checkpoint 或短暫 pause再讀取底層 diff 目錄而不是走 merged 視圖。這樣拿到的是可寫層的真實(shí)內(nèi)容配合鏡像層清單就能完整重建。下面這節(jié)給一個(gè)可復(fù)現(xiàn)的最小流程不依賴具體某家實(shí)現(xiàn)按通用思路走。2.3 用 overlay 底層目錄手工復(fù)現(xiàn)一次 dump在沒有現(xiàn)成工具的情況下理解原理最好的方式是自己手工倒一次。假設(shè)你在一臺(tái)能訪問容器運(yùn)行時(shí)數(shù)據(jù)目錄的宿主機(jī)上先定位容器的可寫層路徑。不同運(yùn)行時(shí)路徑不同常見在/var/lib/containerd或/var/lib/docker/overlay2下。下面用一段 bash 演示定位與打包注釋寫清每一步在干什么。# 1. 找到目標(biāo)容器的可寫層目錄以 overlay2 為例需 root # 容器 ID 前 12 位通常就是目錄名的一部分 CIDa1b2c3d4e5f6 UPPER$(find /var/lib/docker/overlay2 -maxdepth 2 -type d -name diff \ -path *${CID}* | head -n 1) echo upperdir ${UPPER} # 2. 短暫凍結(jié)容器保證可寫層不再變化用運(yùn)行時(shí)自帶命令 # 這里以通用 crictl 為例docker 環(huán)境換成 docker pause crictl pause ${CID} # 3. 打包可寫層保留權(quán)限、擴(kuò)展屬性、設(shè)備節(jié)點(diǎn) tar --xattrs --acls --selinux \ -cpf /tmp/${CID}-upper.tar \ -C ${UPPER} . # 4. 記錄鏡像層清單供后續(xù)重建合并視圖 crictl inspect ${CID} | \ grep -A50 imageRef /tmp/${CID}-meta.json # 5. 解凍容器恢復(fù)業(yè)務(wù) crictl unpause ${CID}這段腳本的邏輯是先定位可寫層真實(shí)路徑再凍結(jié)容器消除寫入抖動(dòng)然后帶擴(kuò)展屬性打包最后把鏡像引用等元數(shù)據(jù)一起留存。參數(shù)上--xattrs --acls --selinux三個(gè)不能省容器里很多文件依賴擴(kuò)展屬性和 SELinux 標(biāo)簽丟了之后恢復(fù)出來的權(quán)限模型是錯(cuò)的-p保留權(quán)限位-C切到目標(biāo)目錄再打包避免包內(nèi)出現(xiàn)絕對路徑。凍結(jié)時(shí)間要盡量短生產(chǎn)環(huán)境建議控制在秒級凍結(jié)前先確認(rèn)業(yè)務(wù)能容忍短暫停頓。打包完成后你得到的是可寫層 tar 加一份元數(shù)據(jù)。要還原完整視圖還需要按鏡像層順序把各層 tar 依次解到同一目錄并處理 whiteout。這一步手工做很繁瑣也正是 dumptar 這類工具要自動(dòng)化掉的部分。理解了這個(gè)手工流程再看工具的輸出結(jié)構(gòu)就不會(huì)懵。3. 把 dump 做成可復(fù)現(xiàn)流程參數(shù)、目錄結(jié)構(gòu)與校驗(yàn)3.1 一次完整 dump 的目錄該長什么樣取證包最忌諱“倒完自己都看不懂”。我習(xí)慣讓 dump 輸出固定成一套目錄結(jié)構(gòu)不管工具默認(rèn)怎么排歸檔時(shí)都整理成下面這樣。這樣半年后別人接手或者要寫進(jìn)事故報(bào)告都能直接對上號。路徑內(nèi)容是否必需meta/container.json容器 ID、鏡像引用、啟動(dòng)參數(shù)、掛載點(diǎn)必需meta/layers.txt鏡像層順序清單從底到頂必需fs-upper/可寫層原始內(nèi)容含 whiteout必需fs-merged/拍平后的合并視圖可選checksums.sha256所有產(chǎn)物的校驗(yàn)和必需notes.md操作人、時(shí)間、凍結(jié)時(shí)長、異常記錄建議meta/layers.txt是重建的關(guān)鍵它決定了合并順序。層順序錯(cuò)了同名文件會(huì)被錯(cuò)誤覆蓋分析結(jié)論直接跑偏。checksums.sha256不是形式主義取證包在傳輸、歸檔、多次轉(zhuǎn)手后最容易出現(xiàn)“文件被改過但沒人知道”校驗(yàn)和是唯一的后悔藥。notes.md看著不起眼但凍結(jié)了多久、當(dāng)時(shí)業(yè)務(wù)有沒有抖動(dòng)這些信息事后補(bǔ)不回來。3.2 關(guān)鍵參數(shù)怎么設(shè)凍結(jié)時(shí)長、并發(fā)與包體控制dumptar 類工具通常有幾個(gè)繞不開的參數(shù)凍結(jié)策略、并發(fā)度、是否跟隨符號鏈接、是否包含稀疏文件。下面這張表是我在實(shí)際環(huán)境里反復(fù)調(diào)過的取值建議按容器體量分檔。參數(shù)小容器1GB中容器1–10GB大容器10GB凍結(jié)方式pause 即可pause 限時(shí)checkpoint 優(yōu)先凍結(jié)上限5s15s盡量不凍結(jié)改快照打包并發(fā)12–44–8注意 IO跟隨符號鏈接否否否稀疏文件處理保留保留保留避免包體爆炸凍結(jié)時(shí)長是最需要拿捏的。小容器 pause 幾秒業(yè)務(wù)無感中容器如果可寫層大、磁盤慢打包可能拖到幾十秒這時(shí)候要么提高 IO 優(yōu)先級要么改用文件系統(tǒng)快照LVM、btrfs 快照先做一致性點(diǎn)再離線打包。大容器我基本不推薦在線凍結(jié)打包風(fēng)險(xiǎn)太高優(yōu)先走快照。并發(fā)度不是越高越好打包是 IO 密集型并發(fā)拉滿只會(huì)把宿主機(jī)磁盤打滿反而拖慢業(yè)務(wù)。符號鏈接一定不要跟隨。容器里常見指向/proc、/sys的軟鏈跟隨之后會(huì)把宿主機(jī)偽文件系統(tǒng)卷進(jìn)來包體瞬間膨脹且內(nèi)容無意義。稀疏文件要保留稀疏屬性否則一個(gè)邏輯上 10GB、實(shí)際占幾百 MB 的鏡像文件會(huì)被實(shí)打?qū)崒憹M磁盤。3.3 用校驗(yàn)和與清單做一次可驗(yàn)證的還原dump 完不算完得能證明“這份包能還原出和當(dāng)時(shí)一致的視圖”。下面這段 python 做兩件事校驗(yàn)所有產(chǎn)物完整性并按層清單重建合并視圖的目錄骨架供比對。import hashlib, json, os, tarfile def sha256_file(path, chunk1 20): h hashlib.sha256() with open(path, rb) as f: while True: b f.read(chunk) if not b: break h.update(b) return h.hexdigest() # 1. 校驗(yàn) checksums.sha256任何一條不匹配就中止 base /dump/a1b2c3d4e5f6 with open(os.path.join(base, checksums.sha256)) as f: for line in f: expect, rel line.strip().split( , 1) actual sha256_file(os.path.join(base, rel)) if actual ! expect: raise SystemExit(fchecksum mismatch: {rel}) # 2. 按 layers.txt 順序解包到臨時(shí)目錄重建合并視圖 layers [l.strip() for l in open(os.path.join(base, meta/layers.txt)) if l.strip()] target /tmp/rebuild os.makedirs(target, exist_okTrue) for layer in layers: with tarfile.open(os.path.join(base, layers, layer)) as tf: tf.extractall(target) # 生產(chǎn)環(huán)境需加成員路徑校驗(yàn)防目錄穿越 print(rebuild ok:, target)邏輯說明第一步逐文件比對 sha256任何不匹配立即退出避免在損壞的包上繼續(xù)分析得出錯(cuò)誤結(jié)論。第二步按layers.txt的順序解包順序即合并順序底層先解、頂層后解后解的自然覆蓋先解的。參數(shù)上chunk設(shè) 1MB 是 IO 與內(nèi)存的折中extractall在真實(shí)取證環(huán)境必須加成員路徑校驗(yàn)防止惡意 tar 里的../目錄穿越這里為演示省略但生產(chǎn)不能省。還原出來的目錄再和fs-merged/做一次diff -r就能驗(yàn)證拍平邏輯是否正確。4. 避坑與排查dumptar 落地時(shí)最容易翻車的五件事4.1 現(xiàn)象包倒出來了但文件權(quán)限全是 root原因通常是打包時(shí)沒帶--xattrs --acls或者解包時(shí)用了普通用戶身份導(dǎo)致 uid/gid 映射丟失。容器里很多進(jìn)程以非 root 運(yùn)行權(quán)限模型一錯(cuò)后續(xù)分析“為什么這個(gè)文件進(jìn)程讀不了”就會(huì)得出完全相反的結(jié)論。解決打包帶全擴(kuò)展屬性參數(shù)解包用 root 或--same-owner并在notes.md里記錄 uid 映射關(guān)系。4.2 現(xiàn)象合并視圖里文件“憑空消失”這是 whiteout 沒處理對。可寫層里的 whiteout 文件字符設(shè)備 0/0在拍平時(shí)必須轉(zhuǎn)成“刪除下層同名文件”的語義如果工具只是簡單按層覆蓋whiteout 會(huì)被當(dāng)成普通文件保留或者下層文件沒被真正屏蔽。排查方法在fs-upper/里find . -type c找字符設(shè)備逐個(gè)核對合并視圖里對應(yīng)路徑是否已消失。解決拍平邏輯里顯式識別 whiteout 并執(zhí)行刪除語義別指望 tar 自己處理。4.3 現(xiàn)象凍結(jié)期間業(yè)務(wù)超時(shí)告警凍結(jié)時(shí)長失控多半是可寫層比預(yù)期大或者宿主機(jī)磁盤 IO 被其他任務(wù)搶占。血淚經(jīng)驗(yàn)是凍結(jié)前先du -sh估一下可寫層體量超過閾值就別在線凍結(jié)改快照。另外打包并發(fā)別拉滿IO 爭搶會(huì)讓凍結(jié)時(shí)間成倍放大。解決設(shè)凍結(jié)上限超時(shí)自動(dòng)解凍并降級到快照方案寧可包不完美也不能把業(yè)務(wù)拖死。4.4 現(xiàn)象包體比容器實(shí)際占用大好幾倍兩個(gè)常見原因跟隨了符號鏈接把偽文件系統(tǒng)卷進(jìn)來或者稀疏文件被實(shí)打?qū)崒憹M。排查tar -tvf看包內(nèi)是否有/proc、/sys路徑du與ls -l對比邏輯大小和實(shí)際占用。解決打包禁用符號鏈接跟隨保留稀疏屬性必要時(shí)用--exclude排除已知偽文件系統(tǒng)掛載點(diǎn)。4.5 現(xiàn)象還原后比對不一致但校驗(yàn)和全過校驗(yàn)和只保證“包沒壞”不保證“還原邏輯對”。這種情況多半是層順序錯(cuò)了或者解包時(shí)覆蓋策略與拍平邏輯不一致。排查先確認(rèn)layers.txt順序與運(yùn)行時(shí) inspect 輸出一致再單獨(dú)對某一層做解包比對。解決把“還原 比對”做成固定回歸步驟每次改打包邏輯都跑一遍別等出事才發(fā)現(xiàn)還原路徑早就壞了。5. 進(jìn)階把 dump 包變成可檢索的證據(jù)庫單次 dump 只是起點(diǎn)真正有價(jià)值的是把多次 dump 變成可橫向比對的證據(jù)庫。我的習(xí)慣是給每個(gè)包算一個(gè)“層指紋”把layers.txt的層摘要按順序拼起來再做一次哈希得到鏡像身份再對fs-upper/做一次文件清單哈希得到可寫層身份。兩個(gè)指紋一組合就能快速判斷“兩次事故是不是同一個(gè)鏡像基線、可寫層差異集中在哪些路徑”。下面這段 python 演示指紋計(jì)算與差異定位。import hashlib, os def dir_manifest(root): items [] for dp, _, fns in os.walk(root): for fn in fns: p os.path.join(dp, fn) rel os.path.relpath(p, root) st os.lstat(p) items.append(f{rel}\t{st.st_size}\t{oct(st.st_mode)}) items.sort() return hashlib.sha256(\n.join(items).encode()).hexdigest() base /dump/a1b2c3d4e5f6 layer_fp hashlib.sha256( open(os.path.join(base, meta/layers.txt), rb).read() ).hexdigest() upper_fp dir_manifest(os.path.join(base, fs-upper)) print(layer_fp:, layer_fp) print(upper_fp:, upper_fp)邏輯說明dir_manifest把可寫層里每個(gè)文件的相對路徑、大小、權(quán)限位拼成規(guī)范字符串再哈希這樣即使文件內(nèi)容沒變、只是權(quán)限被改指紋也會(huì)變適合發(fā)現(xiàn)“隱蔽的權(quán)限篡改”。layer_fp只依賴層清單用來做鏡像基線聚類。參數(shù)上清單里刻意不含 mtime因?yàn)?mtime 在容器場景噪聲太大容易讓指紋失去區(qū)分度如果確實(shí)關(guān)心時(shí)間線另存一份帶 mtime 的清單單獨(dú)分析。拿到指紋后把多個(gè)包按layer_fp分組同組內(nèi)再比upper_fp差異包直接進(jìn)人工分析隊(duì)列。這套方法在批量事故里特別省時(shí)間幾十個(gè)容器同時(shí)出問題先按鏡像基線分組往往能立刻看出“是不是同一個(gè)基礎(chǔ)鏡像的批次問題”而不是一個(gè)個(gè)包翻。最后說個(gè)我自己的教訓(xùn)早期我圖省事dump 完只留 tar 不留notes.md結(jié)果兩個(gè)月后復(fù)盤誰也說不清當(dāng)時(shí)凍結(jié)了多久、業(yè)務(wù)有沒有抖動(dòng)只能重跑一遍現(xiàn)場而現(xiàn)場早就沒了。從那以后notes.md和校驗(yàn)和一樣成了我每個(gè)包的必留項(xiàng)。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取