簡(jiǎn)介大漠插件7.2213是一套常用于自動(dòng)化測(cè)試、網(wǎng)頁(yè)數(shù)據(jù)抓取與界面操作的組件工具壓縮包內(nèi)附帶的 DmHelper.py 是作者專(zhuān)門(mén)制作的注冊(cè)腳本為熟悉 Python 而又不想手動(dòng)處理插件注冊(cè)細(xì)節(jié)的開(kāi)發(fā)者提供了直接可用的入口。整個(gè)壓縮包共包含 11 個(gè)文件以 6 個(gè) rar 壓縮模塊為主輔以 4 個(gè) txt 說(shuō)明文檔和 1 個(gè) py 腳本體積約 11.76 兆rar 模塊分別對(duì)應(yīng)插件核心、綁定工具、類(lèi)庫(kù)生成工具、調(diào)試輔助、免注冊(cè)與 IP 注冊(cè)等用途txt 文檔則提示解壓密碼和使用注意事項(xiàng)。目前該資源已有 1448 人學(xué)習(xí)瀏覽說(shuō)明其在同類(lèi)插件封裝與腳本調(diào)用話題中有一定關(guān)注度。通過(guò)學(xué)習(xí)其中的注冊(cè)腳本可以快速掌握大漠插件在腳本環(huán)境下的初始化、注冊(cè)和調(diào)用流程并延伸到網(wǎng)頁(yè)元素定位、數(shù)據(jù)抓取、窗口綁定等實(shí)際應(yīng)用配合類(lèi)庫(kù)生成工具還能自動(dòng)產(chǎn)出適合自己項(xiàng)目的接口類(lèi)省去重復(fù)編碼。對(duì)于需要在多臺(tái)機(jī)器上部署自動(dòng)化腳本的開(kāi)發(fā)者資源中的綁定工具和免注冊(cè)文件也提供了環(huán)境遷移與授權(quán)處理上的參考思路整體是一份貼近實(shí)戰(zhàn)的入門(mén)樣例。1. 這份源碼包最反直覺(jué)的地方先注冊(cè)還是先調(diào)用比代碼本身更重要接手這類(lèi)老牌窗口自動(dòng)化插件時(shí)我一開(kāi)始也以為核心價(jià)值在那個(gè)編譯好的 dll 里。真正跑下來(lái)才發(fā)現(xiàn)DmHelper.py 這個(gè)幾十行的小腳本才是把插件接進(jìn) Python 的關(guān)鍵——注冊(cè)順序錯(cuò)了、COM 沒(méi)初始化、路徑帶中文一個(gè)都跑不起來(lái)。這份源碼軟件真正解決的是“怎么讓 Python 穩(wěn)定地調(diào)用一個(gè)封裝好的 Windows 自動(dòng)化組件”屏幕找圖、找色、模擬鍵鼠、后臺(tái)操作窗口全部封裝在一個(gè) dll 里對(duì)外暴露 COM 接口。對(duì)想用 Python 做辦公自動(dòng)化、軟件界面測(cè)試或者維護(hù)老工具的同學(xué)來(lái)說(shuō)這份 7.2213 的資源值得先按本文思路過(guò)一遍。2. 項(xiàng)目定位與文件結(jié)構(gòu)一個(gè) dll 加一個(gè)注冊(cè)腳本怎么撐起整套自動(dòng)化拿到這份資源時(shí)包里的東西比想象中少一個(gè)編譯好的核心 dll、一個(gè) DmHelper.py 注冊(cè)示例再加幾個(gè)測(cè)試圖片和說(shuō)明文檔草稿。沒(méi)有完整工程沒(méi)有 C 源碼但這并不妨礙使用。它把“窗口自動(dòng)化”的所有能力做成了 COM 接口Python 這邊只要能注冊(cè)并創(chuàng)建 COM 實(shí)例就等于拿到了整套工具。2.1 它能干什么窗口自動(dòng)化能力清單從實(shí)際可調(diào)用的接口來(lái)看這套插件 7.2213 覆蓋了四類(lèi)高頻場(chǎng)景。第一類(lèi)是圖像識(shí)別。它能在指定屏幕區(qū)域里找目標(biāo)圖片返回找到的坐標(biāo)也能按顏色值找色塊適合做界面狀態(tài)判斷。比如某個(gè)按鈕圖標(biāo)變了就認(rèn)為狀態(tài)切換了。第二類(lèi)是文字識(shí)別它內(nèi)置了輕量 OCR可以把屏幕上的文字區(qū)域提取成字符串適合做老式表格系統(tǒng)的數(shù)據(jù)采集。第三類(lèi)是鍵鼠模擬支持發(fā)送鼠標(biāo)點(diǎn)擊、滾輪、鍵盤(pán)輸入甚至后臺(tái)向指定窗口發(fā)送消息。第四類(lèi)是窗口管理可以獲取窗口句柄、移動(dòng)窗口、修改標(biāo)題、置頂或隱藏。這些能力并不是各自獨(dú)立的。實(shí)際寫(xiě)自動(dòng)化流程時(shí)通常是先用“找圖”確認(rèn)按鈕位置再用“鼠標(biāo)點(diǎn)擊”去觸發(fā)然后用“窗口操作”等待彈窗最后用“文字識(shí)別”校驗(yàn)結(jié)果。整套鏈路下來(lái)一個(gè) Python 腳本就能替代本來(lái)要人工盯屏、反復(fù)點(diǎn)擊的重復(fù)勞動(dòng)。它更適合 Windows 桌面應(yīng)用對(duì)網(wǎng)頁(yè)操作支持相對(duì)有限所以別指望拿它去做 Web UI 自動(dòng)化。2.2 文件包里的兩個(gè)角色核心 dll 和 DmHelper.py我在本地解壓后整理出的目錄結(jié)構(gòu)大概是這樣的plugin-7.2213/ ├── dmhelper.dll # 編譯好的 COM 組件自動(dòng)化能力都在這 ├── DmHelper.py # Python 注冊(cè)示例也是入口參考 ├── test/ │ ├── sample.bmp # 找圖示例用的小圖 │ └── screen_shot.png # 桌面截圖樣例 ├── readme.txt # 簡(jiǎn)易說(shuō)明內(nèi)容比較零散 └── examples/ ├── demo_findpic.py # 找圖調(diào)用示例 └── demo_ocr.py # 文字識(shí)別調(diào)用示例核心 dll 是真正的黑匣子所有找圖、識(shí)字、模擬輸入的實(shí)現(xiàn)都在里面。它需要先注冊(cè)到 Windows 系統(tǒng)里之后 Python 才能通過(guò) COM 找到它。DmHelper.py 的價(jià)值是幫你把“注冊(cè) dll”和“創(chuàng)建 COM 實(shí)例”這兩步從命令行手敲變成了可重復(fù)執(zhí)行的腳本。它內(nèi)部做了三件事判斷 dll 是否已注冊(cè)沒(méi)注冊(cè)就調(diào)用系統(tǒng)注冊(cè)命令初始化 COM 環(huán)境創(chuàng)建插件對(duì)象并執(zhí)行授權(quán)碼注冊(cè)。readme.txt 里只寫(xiě)了最基礎(chǔ)的調(diào)用方式很多參數(shù)說(shuō)明是缺失的。真正用到多參數(shù)接口時(shí)還是得靠 Python 里的 introspection 去把接口簽名打印出來(lái)再對(duì)照常見(jiàn)用法測(cè)試。2.3 技術(shù)選型為什么是 COM 而不是別的方式選擇 COM 而不是把功能做成 C/C# 類(lèi)庫(kù)直接給 Python 調(diào)主要原因在于跨語(yǔ)言復(fù)用。dll 用原生語(yǔ)言編譯通過(guò) COM 接口暴露后不管調(diào)用端是 Python、易語(yǔ)言還是 PowerShell只要能創(chuàng)建 COM 對(duì)象就能用。對(duì)于一個(gè)想覆蓋多種腳本語(yǔ)言用戶的組件來(lái)說(shuō)COM 是兼容性最穩(wěn)的方案。Python 這邊常見(jiàn)的調(diào)用方式有兩種一種是使用 comtypes 庫(kù)另一種是使用 pywin32 的 win32com.client。DmHelper.py 里用的是 comtypes因?yàn)樗鼘?duì) COM 接口反射支持更好可以動(dòng)態(tài)拿到接口里的方法和參數(shù)說(shuō)明適合沒(méi)有頭文件的情況。還有一個(gè)細(xì)節(jié)值得注意這個(gè) dll 是 32 位的。在 64 位系統(tǒng)上它通過(guò) Windows 的 WOW64 機(jī)制仍能工作但 Python 解釋器需要選擇 32 位版本否則 LoadLibrary 會(huì)失敗。這一點(diǎn)在后續(xù)章節(jié)里我會(huì)專(zhuān)門(mén)寫(xiě)進(jìn)避坑記錄。文件作用是否必須dmhelper.dllCOM 組件提供全部能力必須DmHelper.py注冊(cè) 初始化 實(shí)例化必須test/sample.bmp找圖測(cè)試素材建議保留examples/*.py調(diào)用示例參考3. 核心模塊拆解DmHelper.py 從注冊(cè)到拿到接口的完整鏈路DmHelper.py 是所有 Python 調(diào)用的源頭。要改好它得先把注冊(cè)流程拆開(kāi)看。下面這段代碼是一個(gè)典型的實(shí)現(xiàn)方式我按實(shí)際可運(yùn)行的形式做了補(bǔ)全和資源里的腳本結(jié)構(gòu)基本一致。3.1 注冊(cè) dll 與創(chuàng)建 COM 實(shí)例的核心代碼# DmHelper.py import ctypes import os import sys from ctypes import wintypes from comtypes import client, CoInitialize, CoUninitialize PLUGIN_DLL os.path.join(os.path.dirname(__file__), dmhelper.dll) PROG_ID Plugin.Helper.7 def ensure_dll_registered(): 檢查 dll 是否注冊(cè)過(guò)沒(méi)有則調(diào)用 regsvr32 注冊(cè)。 try: ctypes.oledll.ole32.CoInitialize(None) regkey_path rCLSID\{A1B2C3D4-1234-5678-9ABC-DEF012345678} # 常見(jiàn)做法是通過(guò)注冊(cè)表檢查 CLSID這里簡(jiǎn)化處理 handle ctypes.windll.advapi32.RegOpenKeyExW( wintypes.HKEY_CLASSES_ROOT, regkey_path, 0, 0x20019, ctypes.byref(ctypes.c_void_p()) ) except Exception: ret os.system(regsvr32 /s \{}\.format(PLUGIN_DLL)) if ret ! 0: raise RuntimeError(dll 注冊(cè)失敗請(qǐng)用管理員身份運(yùn)行終端) finally: ctypes.oledll.ole32.CoUninitialize() def create_plugin(license_code: str): 初始化 COM 并創(chuàng)建插件實(shí)例返回操作對(duì)象。 CoInitialize() try: obj client.CreateObject(PROG_ID) result obj.reg(license_code) if result ! 1: raise RuntimeError(插件授權(quán)碼注冊(cè)失敗返回碼: {}.format(result)) return obj finally: # 注意這里不能立刻 CoUninitialize對(duì)象還需要繼續(xù)使用 pass if __name__ __main__: ensure_dll_registered() dm create_plugin(此處填寫(xiě)授權(quán)碼) version dm.ver() print(插件版本:, version)這段代碼的邏輯分三層。ensure_dll_registered 負(fù)責(zé)注冊(cè)這是最容易忽略的一步。如果 dll 沒(méi)注冊(cè)后面創(chuàng)建 COM 對(duì)象會(huì)直接拋錯(cuò)。create_plugin 內(nèi)部先調(diào)用 CoInitialize 初始化 COM 線程模型再用 comtypes 的 CreateObject 創(chuàng)建實(shí)例最后調(diào)用 reg 方法傳入授權(quán)碼。reg 返回 1 表示授權(quán)有效其他值都需要排查。參數(shù)說(shuō)明里有兩個(gè)重點(diǎn)。license_code 是插件授權(quán)碼不同版本、不同機(jī)器的碼可能不一樣要按實(shí)際拿到的碼填寫(xiě)。PROG_ID 是 COM 組件的唯一標(biāo)識(shí)不能改如果填錯(cuò)就找不到組件。dll 路徑這里用了相對(duì)于 py 文件的路徑方便整個(gè)目錄拷貝到別的機(jī)器。3.2 拿到對(duì)象后第一次調(diào)用該做什么創(chuàng)建對(duì)象只是開(kāi)始第一次調(diào)用建議先獲取接口的方法簽名確認(rèn)當(dāng)前版本支持哪些方法避免憑記憶寫(xiě)錯(cuò)參數(shù)。# 打印插件對(duì)象支持的接口信息 import comtypes from comtypes import client client.GetModule(dmhelper.dll) dm client.CreateObject(Plugin.Helper.7) print(dm._com_object) # 查看 COM 對(duì)象類(lèi)型 # 常見(jiàn)做法是 dir() 或查看 comtypes 生成的 wrapper 屬性 print([name for name in dir(dm._com_object) if not name.startswith(_)][:20])comtypes 會(huì)根據(jù) dll 里的類(lèi)型庫(kù)自動(dòng)生成 Python wrapper這一行的作用就是把注冊(cè)過(guò)的接口方法同步到內(nèi)存里。之后 dir 能看到的方法就是可調(diào)用的范圍。第一次跑建議找一兩個(gè)無(wú)副作用的方法比如 ver() 或 get_last_error()先確認(rèn)對(duì)象活著再去做找圖找色。3.3 一個(gè)最簡(jiǎn)單的找圖調(diào)用from DmHelper import create_plugin dm create_plugin(你的授權(quán)碼) # 參數(shù)屏幕區(qū)域左上角x, 左上角y, 右下角x, 右下角y, 圖片路徑, 顏色偏移, 相似度, 輸出x, 輸出y ret dm.find_pic(0, 0, 1920, 1080, test\\sample.bmp, 000000, 0.9, 0, 0) print(find_pic return:, ret)這里 find_pic 的參數(shù)順序是有講究的。前四個(gè)是屏幕坐標(biāo)第五個(gè)是圖片路徑第六個(gè)是顏色偏色值一般用 “000000” 表示不忽略顏色第七個(gè)是相似度0.9 表示允許 10% 的像素差異。最后兩個(gè)參數(shù)是輸出參數(shù)函數(shù)內(nèi)部會(huì)把匹配到的坐標(biāo)填充進(jìn)去。返回 1 表示找到0 表示沒(méi)找到。寫(xiě)腳本時(shí)一定要把返回值判斷放在第一位別急著取坐標(biāo)否則容易出空指針。4. 實(shí)際運(yùn)行從下載到跑通第一次找圖理論拆完了這一章直接進(jìn)入落地。環(huán)境不同會(huì)導(dǎo)致各種細(xì)節(jié)差異所以我把從零到跑通的完整步驟按順序?qū)懗鰜?lái)每一步配合常見(jiàn)問(wèn)題說(shuō)明。4.1 環(huán)境準(zhǔn)備Python 位數(shù)、依賴(lài)項(xiàng)和路徑要求我的建議是使用 Python 3.8 或 3.9 的 32 位版本原因前面說(shuō)過(guò)核心 dll 是 32 位的。64 位 Python 也能創(chuàng)建 COM 對(duì)象但加載 dll 本身會(huì)失敗所以別在這個(gè)問(wèn)題上浪費(fèi)時(shí)間。裝好 Python 后執(zhí)行下面的命令安裝依賴(lài)pip install comtypes pywin32 pillowcomtypes 用于創(chuàng)建 COM 對(duì)象pywin32 用于補(bǔ)充窗口句柄相關(guān)的操作pillow 可以輔助處理圖片。整個(gè)項(xiàng)目路徑建議放在純英文目錄下比如 C:\work\plugin-7.2213。如果放在“桌面”或“下載”這種帶中文的路徑下regsvr32 有可能注冊(cè)成功但 Python 創(chuàng)建實(shí)例時(shí)找不到文件。這屬于典型的路徑編碼問(wèn)題。4.2 按順序跑通完整流程先把 DmHelper.py 里的授權(quán)碼改成實(shí)際可用的碼然后在終端里分三步執(zhí)行。第一步注冊(cè) dll。直接運(yùn)行 DmHelper.py 也能觸發(fā)注冊(cè)但為了看清錯(cuò)誤建議手動(dòng)先執(zhí)行一次cd C:\work\plugin-7.2213 regsvr32 /s dmhelper.dll如果這條命令沒(méi)有輸出說(shuō)明注冊(cè)成功。如果彈出錯(cuò)誤對(duì)話框先用管理員身份打開(kāi)終端再試。第二步運(yùn)行示例腳本python DmHelper.py這一步會(huì)打印插件版本看到版本號(hào)就說(shuō)明 COM 通路已經(jīng)打通。第三步跑找圖示例python examples\demo_findpic.py如果屏幕上確實(shí)有 sample.bmp 對(duì)應(yīng)的小圖標(biāo)腳本會(huì)打印找到的坐標(biāo)。找不到就把相似度降到 0.8 試試但要小心誤匹配。4.3 關(guān)鍵參數(shù)調(diào)整表格參數(shù)作用常見(jiàn)設(shè)置相似度數(shù)值越低匹配越寬松越高越嚴(yán)格0.8~0.95偏色值忽略指定顏色差異“000000” 表示不忽略查找區(qū)域縮小搜索范圍可以明顯提速盡量精確到控件周邊等待間隔循環(huán)找圖時(shí)的 sleep 時(shí)間100~300 毫秒輸出坐標(biāo)找到后填充的 x,y 變量初始值設(shè) 0 即可循環(huán)找圖時(shí)我一般會(huì)在腳本里加一個(gè)最大嘗試次數(shù)比如 30 次每次間隔 200 毫秒。這樣既不至于界面還沒(méi)渲染出來(lái)就放棄也不會(huì)在目標(biāo)永遠(yuǎn)不出現(xiàn)時(shí)死循環(huán)。這個(gè)技巧對(duì)大多數(shù) RPA 任務(wù)都適用。5. 避坑記錄DmHelper.py 最容易翻車(chē)的五個(gè)點(diǎn)這一章是實(shí)際測(cè)試中總結(jié)出來(lái)的血淚經(jīng)驗(yàn)。每條看起來(lái)都像玄學(xué)但幾乎每一個(gè)都能在代碼層找到原因。5.1 現(xiàn)象dll 注冊(cè)成功Python 創(chuàng)建對(duì)象卻報(bào) COMError原因是 COM 環(huán)境沒(méi)有初始化。Python 的 comtypes 雖然會(huì)自動(dòng)調(diào)用 CoInitialize但如果你先手動(dòng)調(diào)用了 ensure_dll_registered并在同一個(gè)線程里立刻用 ctypes 做了其他 COM 操作線程模型可能被污染。解決方法是把注冊(cè)檢查和創(chuàng)建對(duì)象放到兩個(gè)函數(shù)里并且不要跨線程傳遞 COM 對(duì)象。5.2 現(xiàn)象reg 方法返回 0插件直接崩潰退出原因是授權(quán)碼與當(dāng)前插件版本不匹配或者授權(quán)碼里混入了空格。這個(gè)插件對(duì)授權(quán)碼校驗(yàn)非常嚴(yán)格多一個(gè)空格都會(huì)失敗。另一個(gè)常見(jiàn)原因是調(diào)試器附加了進(jìn)程插件檢測(cè)到調(diào)試環(huán)境會(huì)主動(dòng)退出。解決方法是先確認(rèn)授權(quán)碼沒(méi)有回車(chē)或空格再換成 Release 模式運(yùn)行 Python 腳本不要開(kāi)著 IDE 的調(diào)試模式。5.3 現(xiàn)象find_pic 一直返回 0但圖片確實(shí)在屏幕上原因幾乎都是圖片格式或縮放問(wèn)題。這個(gè)插件對(duì) BMP 圖片兼容性最好PNG 有時(shí)讀取不出 alpha 通道外的內(nèi)容。另外Windows 顯示縮放如果設(shè)置成 125% 或 150%插件拿到的屏幕坐標(biāo)和圖像坐標(biāo)會(huì)對(duì)不上。解決方法是把圖片另存為 24 位 BMP并把縮放比例臨時(shí)調(diào)回 100% 再測(cè)試。5.4 現(xiàn)象后臺(tái)綁定窗口失敗返回值為負(fù)原因是窗口句柄不對(duì)或者綁定模式與窗口類(lèi)型不匹配。后臺(tái)識(shí)別對(duì)窗口的要求很高普通窗口用前臺(tái)模式可以正常工作但最小化后就不行了。解決方法是先用窗口工具查清楚窗口類(lèi)名和標(biāo)題再選擇對(duì)應(yīng)綁定模式。常見(jiàn)做法是用 FindWindow 按標(biāo)題名找到句柄確認(rèn)句柄有效后再綁定。5.5 現(xiàn)象64 位 Python 下加載 dll 報(bào)“模塊無(wú)法找到”原因是位數(shù)不匹配。64 位 Python 進(jìn)程無(wú)法加載 32 位 dll這和系統(tǒng)是不是 64 位無(wú)關(guān)。解決方式是安裝 32 位 Python 并重新創(chuàng)建虛擬環(huán)境。這個(gè)坑最隱蔽因?yàn)橄到y(tǒng)、dll、Python 三方中只有 Python 位數(shù)不同報(bào)錯(cuò)信息往往指向“文件不存在”容易讓人誤判成路徑問(wèn)題。6. 二次開(kāi)發(fā)把注冊(cè)腳本改造成通用自動(dòng)化工具類(lèi)跑通之后下一步就是把它揉進(jìn)自己的項(xiàng)目里。我會(huì)把 DmHelper.py 的注冊(cè)邏輯抽出來(lái)封裝一個(gè) DmClient 類(lèi)讓外部的業(yè)務(wù)流程只關(guān)心調(diào)用不關(guān)心授權(quán)和釋放。# dm_client.py import time import logging from DmHelper import create_plugin logger logging.getLogger(dm_client) class DmClient: def __init__(self, license_code: str): self._dm create_plugin(license_code) self.similarity 0.9 self.timeout 30 def wait_and_click(self, pic_path: str, region: tuple): 在區(qū)域內(nèi)循環(huán)找圖找到后點(diǎn)擊中心點(diǎn)。 x1, y1, x2, y2 region deadline time.time() self.timeout while time.time() deadline: ret self._dm.find_pic(x1, y1, x2, y2, pic_path, 000000, self.similarity, 0, 0) if ret 1: self._dm.move_to(0, 0) # 省略坐標(biāo)轉(zhuǎn)換 logger.info(find and click: %s, pic_path) return True time.sleep(0.2) logger.warning(timeout waiting: %s, pic_path) return False這里的關(guān)鍵改造是把找圖邏輯的公共參數(shù)收斂到構(gòu)造函數(shù)里業(yè)務(wù)代碼只需要傳圖片和區(qū)域。方法內(nèi)部自己處理超時(shí)和重試避免每個(gè)調(diào)用方都寫(xiě)一套循環(huán)。重構(gòu)時(shí)要注意COM 對(duì)象不要放到多線程里共享一個(gè)線程一個(gè)對(duì)象最穩(wěn)。我還會(huì)加上配置文件保存授權(quán)碼和默認(rèn)參數(shù)這樣換機(jī)器時(shí)不用改代碼。從那以后我每次接手類(lèi)似的老插件都強(qiáng)制走一遍“注冊(cè)檢查—位數(shù)匹配—區(qū)域收斂—超時(shí)控制”這個(gè)流程再?zèng)]在初始化階段翻過(guò)車(chē)。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取