桌面應(yīng)用【免費下載鏈接】dupeguruFind duplicate files項目地址https://gitcode.com/gh_mirrors/du/dupeguru點擊查看免費下載core.fs是 dupeGuru 各版本標準版 SE、音樂版 ME、圖片版 PE共用的文件系統(tǒng)抽象層它把磁盤上的文件與文件夾統(tǒng)一封裝成帶懶加載元數(shù)據(jù)大小、修改時間、全文摘要、局部摘要、采樣摘要的File/Folder對象并通過 SQLite 緩存哈希結(jié)果是后續(xù)重復(fù)匹配見 core/engine.py的輸入基礎(chǔ)。本文以 help/en/developer/core/fs.rst 所指向的core.fs模塊文檔為骨架結(jié)合 core/fs.py 源碼與其測試用例 core/tests/fs_test.py完整梳理該模塊的公開 API、內(nèi)部機制與擴展方式讀完你將對 dupeGuru 掃描管線的數(shù)據(jù)源頭有源碼級的清晰認識并掌握自行擴展文件包裝類的路徑。模塊定位為 dupeGuru 定制的文件系統(tǒng)抽象core.fs的前身是hsfs一個最初為 musicGuru 設(shè)計的文件系統(tǒng)封裝庫。在 core/fs.py 的頭部注釋第 9-12 行中明確記錄了這次 fork 的動機hsfs對 dupeGuru 而言過度設(shè)計帶來了不必要的復(fù)雜度和內(nèi)存占用。因此本模塊只保留掃描重復(fù)文件所必需的能力用統(tǒng)一的File對象包裝文件用Folder對象包裝目錄且Folder繼承自File保證兩者在后續(xù)匹配代碼中可互換所有元數(shù)據(jù)大小、mtime、摘要都懶加載首次訪問時才從磁盤或緩存讀取提供三級摘要策略全文 digest、局部 digest_partial、采樣 digest_samples在準確性與 I/O 開銷之間取得平衡通過 SQLiteFilesDB緩存路徑 大小 mtime對應(yīng)的摘要避免重復(fù)掃描時重復(fù)讀盤。模塊頂部還定義了一個重要的運行時選擇哈希算法。源碼第 26-34 行優(yōu)先嘗試導(dǎo)入xxhash并使用xxh128否則回退到標準庫hashlib.md5try: import xxhash hasher xxhash.xxh128 except ImportError: import hashlib hasher hashlib.md5這意味著在沒有安裝xxhash的純凈環(huán)境中dupeGuru 自動退化為 MD5兩種算法對上層代碼完全透明。這一算法選擇也體現(xiàn)在FilesDB的 schema 版本描述中Changed from md5 to xxhash if availablecore/fs.py。公開 API 一覽模塊通過__all__顯式導(dǎo)出以下符號core/fs.py符號類型職責(zé)File類單個文件的包裝持有掃描所需的元數(shù)據(jù)Folder類目錄包裝聚合其子項的大小與摘要get_file(path, fileclasses)函數(shù)將路徑包裝為合適的File子類實例get_files(path, fileclasses)函數(shù)掃描目錄返回其中所有文件的File實例列表FSError異?；愇募到y(tǒng)操作錯誤的統(tǒng)一異常AlreadyExistsError異常目標已存在重命名/復(fù)制沖突InvalidPath異常路徑無效InvalidDestinationError異常復(fù)制/移動操作的目標非法OperationError異常復(fù)制/移動/刪除操作后的校驗未通過此外模塊內(nèi)還定義了模塊級單例filesdb FilesDB()core/fs.py所有File實例共享同一個摘要緩存連接。異常體系統(tǒng)一錯誤報告所有文件系統(tǒng)錯誤都派生自FSErrorcore/fs.py錯誤消息模板統(tǒng)一為An error has occured on {name} in {parent}。構(gòu)造時可傳入字符串、File實例或空值File實例會取用其name屬性parent用于補充出錯位置。四個子類分別覆蓋了典型場景AlreadyExistsError{name} already exists in {parent}例如File.rename()發(fā)現(xiàn)目標路徑已存在時拋出InvalidPath{name} is invalid.例如get_files()中os.scandir拋OSError時拋出InvalidDestinationError復(fù)制/移動操作的目標非法OperationErrorOperation on {name} failed.操作執(zhí)行后校驗未通過時拋出。這一設(shè)計讓上層GUI 與掃描引擎可以用統(tǒng)一的except FSError捕獲所有文件操作問題同時保留具體錯誤類型的細分能力。File懶加載元數(shù)據(jù)的核心對象File類core/fs.py)代表一個待掃描的文件其設(shè)計有三個關(guān)鍵點。1.__slots__與內(nèi)存優(yōu)化源碼注釋第 206-208 行記錄了實測數(shù)據(jù)僅憑__slots__一項在大量文件場景下未讀取過信息的文件可節(jié)省約 35% 內(nèi)存讀取屬性后的收益甚至可達 70%。因此File顯式聲明了__slots__ (path, unicode_path, is_ref, words) tuple(INITIAL_INFO.keys())第 209 行把所有元數(shù)據(jù)字段固定下來INITIAL_INFO {size: 0, mtime: 0, digest: b, digest_partial: b, digest_samples: b}is_ref由掃描器在匹配前統(tǒng)一打標見 core/scanner.py 中g(shù)et_dupe_groups的f.is_ref Falsewords則是文件名分詞的結(jié)果由core.engine.getwords()寫入。2. NOT_SET 哨兵與懶加載構(gòu)造時第 211-221 行所有元數(shù)據(jù)字段先被置為模塊級哨兵對象NOT_SET而不是初值__getattribute__重寫第 226-236 行保證任何字段首次被訪問時自動觸發(fā)_read_info(field)去真正讀取讀取失敗則記日志并回退到INITIAL_INFO中的默認值。例如首次訪問f.size時才執(zhí)行path.stat()首次訪問f.digest時才計算全文摘要。這意味著掃描器按需讀取字段避免對所有文件做無謂的磁盤 I/O。3. 三級摘要策略File提供三種摘要對應(yīng)不同粒度的內(nèi)容比對core/fs.py字段計算方式用途digest以CHUNK_SIZE1 MiB第 53 行分塊流式讀取整個文件逐塊喂給哈希器最終確認內(nèi)容的確定性全文比對digest_partial只讀取固定偏移與長度PARTIAL_OFFSET_SIZE (0x4000, 0x4000)即文件 16 KiB 處起讀 16 KiB快速初篩避免大文件全文哈希digest_samples采樣文件 25% 處、60% 處各 1 MiB 及末尾 1 MiB_calc_digest_samples第 260-277 行超過大文件閾值時的二次粗篩配套的閾值常量第 55-59 行CHUNK_SIZE 1024 * 1024 # 1 MiB 分塊 MIN_FILE_SIZE 3 * CHUNK_SIZE # 3 MiB低于此大小不做采樣 PARTIAL_OFFSET_SIZE (0x4000, 0x4000)_read_info中還有兩個關(guān)鍵回退邏輯若文件小于 partial 的讀取窗口小于0x4000 0x4000digest_partial直接取全文digest第 289-290 行若文件大小不超過MIN_FILE_SIZE不如直接整體哈希digest_samples直接等于digest第 302-303 行。_calc_digest_samples采樣時使用floor(size * 25 / 100)與floor(size * 60 / 100)定位 25%、60% 位置末尾用fp.seek(-CHUNK_SIZE, 2)讀取最后 1 MiB第 260-277 行。4. 屬性與方法File暴露三個便捷屬性第 352-363 行extension通過hscommon.util.get_file_ext取擴展名、namepath.name、folder_pathpath.parent。公開方法包括can_handle(path)類方法第 321-324 行判斷某路徑是否可被本類包裝——必須是非符號鏈接的普通文件not path.is_symlink() and path.is_file()這是后續(xù)get_file分派的判據(jù)exists()第 326-332 行安全地檢查文件是否存在OSError一律當作不存在處理并記警告日志rename(newname)第 334-346 行重命名文件目標已存在拋AlreadyExistsErrorOSError或重命名后目標不存在拋OperationErrorget_display_info(group, delta)返回用于 GUI 展示的字典基類中raise NotImplementedError()由各版本子類實現(xiàn)見下文版本子類擴展。Folder目錄的聚合語義Folder繼承自Filecore/fs.py)文檔字符串指出它擁有與File相同的 size/digest 信息但其值是其子項之和。核心差異在_read_info的重寫size/mtimesize是所有子項子文件夾 直接文件size之和mtime取目錄自身stat().st_mtime第 384-390 行digest 系列將_all_items()中每個子項的同名摘要按字節(jié)拼接后整體哈希第 391-403 行。源碼注釋強調(diào)了一個重要約束拼接順序必須穩(wěn)定——如果文件被移動到不同的子目錄中應(yīng)該產(chǎn)生不同的摘要因此先按f.path排序再拼接第 397-398 行。subfolders屬性第 405-411 行用os.scandir惰性枚舉直接子目錄同樣排除符號鏈接_all_items()則返回subfolders get_files(self.path)。can_handle第 413-415 行要求路徑是非符號鏈接的目錄與File.can_handle正好互補二者共同構(gòu)成get_file的完整分派規(guī)則。FilesDBSQLite 摘要緩存為避免重復(fù)掃描同一批文件時反復(fù)計算摘要core.fs內(nèi)置了基于 SQLite 的緩存FilesDBcore/fs.py模塊級單例為filesdb。表結(jié)構(gòu)files (path TEXT PRIMARY KEY, size INTEGER, mtime_ns INTEGER, entry_dt DATETIME, digest BLOB, digest_partial BLOB, digest_samples BLOB)第 104-105 行三種摘要分別存儲查詢鍵默認按path size mtime_ns精確命中緩存第 107 行select_query若ignore_mtime為True則退化為只按path size查詢第 108 行、115 行g(shù)et()每次都會現(xiàn)取path.stat()得到 size 與 mtime_ns第 152-155 行保證緩存與磁盤狀態(tài)的一致性寫入使用INSERT ... ON CONFLICT(path) DO UPDATE第 109-113 行實現(xiàn) upsert同時更新 size、mtime_ns、entry_dt 與對應(yīng)摘要版本升級schema_version 1_check_upgrade在連接時檢測版本不匹配則重建表并記錄描述第 129-145 行當前版本描述正是從 md5 切換到可用的 xxhash并發(fā)連接時傳入check_same_threadFalse并配合Lock保護讀寫第 121-126 行commit()與close()也走同一把鎖容錯get/put的任何異常都只記logging.warning而不向上傳播第 172-173 行、187-188 行緩存失敗不阻塞掃描主流程。File._read_info的緩存流程很直接訪問某摘要字段時先filesdb.get()未命中才計算并filesdb.put()例如第 285-308 行對digest_partial、digest、digest_samples的處理。工廠函數(shù)get_file與get_files兩個工廠函數(shù)完成路徑 → 包裝對象的轉(zhuǎn)換core/fs.pyget_file(path, fileclasses[File])遍歷候選類返回第一個can_handle(path)為真的類的實例若全部不匹配則返回Noneget_files(path, fileclasses[File])os.scandir遍歷目錄對每個條目調(diào)用get_file聚合所有可包裝對象遇到OSError拋InvalidPath并用assert前置校驗所有fileclasses都是File的子類。這套類分派 can_handle判據(jù)的機制正是各版本擴展自定義文件類型圖片、音頻的掛載點。在掃描管線中的位置三級摘要如何被使用core.fs的摘要字段不是孤立存在而是與 core/scanner.py 和 core/engine.py 協(xié)同掃描器按大小閾值過濾文件后調(diào)用engine.getmatches_by_contents(files, bigsizeself.big_file_size_threshold)core/scanner.pygetmatches_by_contents先按size分組core/engine.py只對同尺寸組內(nèi)兩兩比較比較順序為從便宜到昂貴先比digest_partial只讀了 16 KiB命中后再看是否超過bigsize——超過則進一步比digest_samples采樣 3 處否則做全文digest比對core/engine.py。這樣大文件在最壞情況下也只會在partial 命中后才付出全文哈希的成本。這一調(diào)用鏈證實了三級摘要各自扮演的初篩 → 二次粗篩 → 最終確認角色與core.fs中三者的實現(xiàn)一一對應(yīng)。零字節(jié)文件會跳過哈希直接以 100% 匹配處理core/engine.py這與_calc_digest對空文件的處理是自洽的。版本子類擴展從基類到 SE/PE/MEcore.fs的設(shè)計目標是作為可擴展基類。dupeGuru 三個版本各自實現(xiàn)了get_display_info及補充字段標準版SEcore/se/fs.py 中的File/Folder只重寫get_display_info調(diào)用模塊函數(shù)get_display_info生成供 GUI 展示的字典name、folder_path、size、extension、mtime、percentage、words、dupe_count并可基于group.get_match_of(dupe)輸出相對參考文件的 delta 值圖片版PEcore/pe/photo.py 的Photo擴展了INITIAL_INFO新增dimensions與exif_timestampHANDLED_EXTS限定可處理擴展名png/jpg/jpeg/gif/bmp/tiff/tif/webpcan_handle在此基礎(chǔ)上疊加擴展名判斷并額外實現(xiàn) EXIF 方向讀取get_orientation方向 5-8 時交換寬高與get_blocks圖片模糊匹配塊平臺相關(guān)音樂版MEcore/me/fs.py 的MusicFile繼承fs.File同樣擴展元數(shù)據(jù)與can_handle判據(jù)按文件擴展名與可讀標簽?zāi)芰^濾。這些子類只需遵守can_handle決定分派、_read_info決定元數(shù)據(jù)、INITIAL_INFO聲明新字段三個約定即可無縫接入get_file/get_files與掃描管線。測試驗證行為被測試鎖定的關(guān)鍵保證core/tests/fs_test.py 集中驗證了本模塊的若干核心不變量test_size_aggregates_subfilesFolder.size等于所有子文件大小之和test_digest_aggregate_subfiles_sorted與test_partial_digest_aggregate_subfile_sorted目錄摘要 對按固定順序dir1/dir2/dir3與根目錄文件排列的各子項摘要再哈希驗證了目錄摘要有序拼接的實現(xiàn)約束測試還用urandom生成了 200 KiB、1 MiB、10 MiB 三種隨機數(shù)據(jù)文件create_fake_fs_with_random_data覆蓋了全文摘要、partial 摘要與采樣摘要三種路徑test_has_file_attrsFolder必須表現(xiàn)如文件擁有mtime屬性且擴展名為空——即Folder繼承自File的兼容性契約。小結(jié)core.fs是 dupeGuru 掃描管線的數(shù)據(jù)基石File/Folder以懶加載與__slots__控制內(nèi)存開銷三級摘要全文/局部/采樣配合CHUNK_SIZE、MIN_FILE_SIZE、PARTIAL_OFFSET_SIZE等常量在準確性、CPU 與 I/O 間取得平衡FilesDB以路徑 size mtime_ns為鍵的 SQLite 緩存避免重復(fù)計算get_file/get_files與can_handle構(gòu)成可擴展的分派機制SE/PE/ME 三版本在此之上各自疊加領(lǐng)域字段。理解這一層也就理解了 dupeGuru 一切匹配邏輯文件名分詞、內(nèi)容比對、目錄摘要背后的輸入來源與性能設(shè)計。贊分享桌面應(yīng)用【免費下載鏈接】dupeguruFind duplicate files項目地址https://gitcode.com/gh_mirrors/du/dupeguru點擊查看免費下載相關(guān)推薦深度解析Graphcool數(shù)據(jù)庫抽象層與數(shù)據(jù)建模核心技術(shù)深度解析Graphcool數(shù)據(jù)庫抽象層與數(shù)據(jù)建模核心技術(shù) 引言傳統(tǒng)數(shù)據(jù)庫開發(fā)的痛點與Graphcool的解決方案 你是否還在為繁瑣的數(shù)據(jù)庫配置、復(fù)雜的ORM深入解析 AferoWandB 核心組件中的 Go 通用文件系統(tǒng)抽象層深入解析 AferoWandB 核心組件中的 Go 通用文件系統(tǒng)抽象層 Afero 是 Go 生態(tài)中一款強大且可擴展的文件系統(tǒng)抽象庫為本地磁盤、內(nèi)存、歸檔文機器學(xué)習(xí)深度學(xué)習(xí)數(shù)據(jù)可視化可觀測性從行情到交易信號machine-learning-for-trading 的完整數(shù)據(jù)管道與最快上手路徑從行情到交易信號machine learning for trading 的完整數(shù)據(jù)管道與最快上手路徑 行情數(shù)據(jù)拿到手怎樣才能變成能回測、敢上實盤的信號中音視頻桌面應(yīng)用上一篇終極Python Modbus解決方案pymodbus完整指南下一篇VersaViT社區(qū)貢獻指南如何參與這個開源視覺編碼器的開發(fā)與改進創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考