本周開打：OpenCUA、UI-TARS-1.5 前后腳開源，27k 星的 trycua/cua 如何守擂)
開源 CUA 大戰(zhàn)本周開打OpenCUA、UI-TARS-1.5 前后腳開源27k 星的 trycua/cua 如何守擂【免費下載鏈接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.項目地址: https://gitcode.com/GitHub_Trending/cua/cua本周計算機使用智能體Computer-Use Agent下稱 CUA賽道迎來罕見的雙模型撞車字節(jié) Seed 把 UI-TARS-1.5 的權重開源并亮出多項 SOTA 戰(zhàn)績港大與 Kimi 團隊前后腳放出 OpenCUA主打人人可造專屬電腦智能體。當模型派開始成建制地開源那個長期盤踞 GitHub 趨勢榜、被社區(qū)稱為Cua的 27k 星倉庫 trycua/cua 反而顯得安靜——它沒有新權重可發(fā)。但把倉庫拆開看會發(fā)現(xiàn)它的護城河從來不在模型權重而在模型之下的電腦層跨三操作系統(tǒng)的驅動Cua Driver、沙箱與本地虛擬機運行時SDK/CLI Lume、評測與數(shù)據(jù)工廠Cua Bench以及一套把 OpenCUA、UI-TARS 直接吃掉當自家組件的模型無關適配層。本文基于倉庫源碼逐行核對回答一個問題模型陣營集體開源的這幾天trycua/cua 是被圍剿還是恰好被抬到了更高的生態(tài)位。一、兩位挑戰(zhàn)者SOTA 戰(zhàn)績與人人可造的敘事先給模型派記分。UI-TARS-1.5ByteDance SeedUI-TARS 系列的第二代開源權重。trycua/cua 倉庫自己的博客在對比各模型能力時引用了它的基準數(shù)據(jù)這張表也是目前社區(qū)引用率最高的OS 操作能力坐標系之一BenchmarkUI-TARS-1.5OpenAI CuaClaude 3.7此前 SOTAHumanOSWorld100 步42.536.428.038.1200 步72.4Windows Agent Arena50 步42.1——29.8—WebVoyager84.887.084.187.0—Online-Mind2Web75.871.062.971.0—AndroidWorld64.2——59.5—上表出自 Cua 團隊維護的模型能力對照blog/build-your-own-operator-on-macos-2.md這張表透露的信息比分數(shù)本身更重要UI-TARS-1.5 的強項集中在OS/桌面級任務OSWorld、Windows Agent Arena 雙雙刷新 SOTA瀏覽器場景 OpenAI Cua 仍保留 2 個百分點優(yōu)勢。Cua 團隊的選型結論也因此寫得很直白需要更強 OS/桌面能力和低延遲自動化時選 UI-TARS Loop。對一個開源模型而言在最難打的原生桌面場景上超過閉源 API就是它能快速出圈的原因。OpenCUA港大 Kimi走的是另一條敘事——人人可造專屬電腦智能體。與 UI-TARS 主打綜合智能體不同OpenCUA 是典型的 grounding界面定位模型給一張截圖和一句點這里它輸出click(x..., y...)。7B 級權重開源意味著開發(fā)者可以在本地起一個 OpenAI 兼容端點自己組裝智能體循環(huán)不必依賴任何云 API。同期中文社區(qū)出現(xiàn)了一整批截圖 多模態(tài)模型 pyautogui手寫 CUA 的教程潮阿里的 Qwen-CUA397B MoE等模型也在此前后發(fā)布——人人可造不是口號而是工程事實一個視覺定位模型 一個鍵鼠執(zhí)行器最小可用 CUA 就閉環(huán)了而這兩個部件現(xiàn)在都是開源的。模型派這一輪攻勢本質上是把 CUA 棧里最貴的智力層免費化了。接下來看 trycua/cua 手里還攥著什么。二、生態(tài)位賣電腦不賣大腦打開 README.md第一句話是 Give AI agents computers they can use.——注意不是 Give AI agents a brain。倉庫自我定位是四件套Cua Driver跨 macOS/Windows/Linux 的桌面自動化驅動通過 CLI、MCP 或類型化 SDK 接入支持后臺投遞——智能體干活時不動你的指針、不搶焦點Cua SDK CLI一條cua命令和 Rust 核心管本地虛擬機、gVisor/Docker 容器、云端沙箱沙箱內的 cua-spacesd 守護進程在 3211 端口暴露進程、文件、截屏與輸入能力Lume基于 Apple Virtualization.Framework 的本地 macOS/Linux 虛擬機管理M 系列芯片上從 Apple 恢復鏡像創(chuàng)建 Tahoe 虛擬機并 SSH 接入Cua Bench建任務、跑評測、導出訓練軌跡的基準與 RL 環(huán)境。倉庫架構圖把生態(tài)位畫得很清楚img/cua-architecture.png整個棧被切成 Environment / Execution / Intelligence 三層最右一列 Agent Framework 標注著100 VLM Options、Pre-built agent loops、Bring Your Own Key。換句話說trycua/cua 從設計上就把大腦外置為可插拔組件——模型派開源的不是威脅而是給它補上了免費、可本地化的選項。商業(yè)結構同樣自洽倉庫絕大部分代碼SDK、CLI、Driver、Lume、Bench是 MIT只有 Cua Spaces 應用層走 FSL-1.1-MIT源可用、不可提供競品托管服務、每個版本兩年后轉 MIT見 LICENSING.md 與 COMMERCIAL.md。它賣的是給你的智能體一臺電腦的運行時與服務模型層恰恰是它最不需要獨占的部分。三、源碼級證據(jù)OpenCUA 與 UI-TARS 早已是 Cua 的內置組件最能說明守擂姿勢的不是 README 措辭而是 libs/python/agent/ 下的 agent loop 目錄。Cua 把每個模型廠商的怪癖封裝成獨立的Agent Loop用正則注冊——模型名一換大腦即換register_agent(modelsr(?i).*OpenCUA.*) # loops/opencua.py register_agent(modelsr(?i).*ui-?tars-?2.*) # loops/uitars2.py逐個看細節(jié)才能理解模型無關要吞掉多少臟活。OpenCUA Loop 的坐標工程libs/python/agent/cua_agent/loops/opencua.pyOpenCUA 端點不理會 provider 側的像素提示所以 Cua 在發(fā)送前真的重編碼圖片——用qwen_vl_utils.smart_resize按factor28、max_pixels12845056縮放并記住縮放系數(shù)把模型返回的坐標反向映射回原始分辨率MIN_PIXELS 3136 MAX_PIXELS 12845056 FACTOR 28 rh, rw smart_resize(orig_h, orig_w, factorFACTOR, min_pixelsMIN_PIXELS, max_pixelsMAX_PIXELS) # ... def _rescale(x: int, y: int) - Tuple[int, int]: if last_orig_w and last_orig_h and last_rw and last_rh: return _rescale_coordinate(x, y, last_orig_w, last_orig_h, last_rw, last_rh) return (x, y)輸出解析同樣為 OpenCUA 定制優(yōu)先匹配其原生的click(x..., y...)extract_coordinates_from_click還兼容舊式pyautogui.click(...)輸出再退到 【免費下載鏈接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.項目地址: https://gitcode.com/GitHub_Trending/cua/cua創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考 開源 CUA 大戰(zhàn)本周開打：OpenCUA、UI-TARS-1.5 前后腳開源，27k 星的 trycua/cua 如何守擂
開源 CUA 大戰(zhàn)本周開打OpenCUA、UI-TARS-1.5 前后腳開源27k 星的 trycua/cua 如何守擂【免費下載鏈接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.項目地址: https://gitcode.com/GitHub_Trending/cua/cua本周計算機使用智能體Computer-Use Agent下稱 CUA賽道迎來罕見的雙模型撞車字節(jié) Seed 把 UI-TARS-1.5 的權重開源并亮出多項 SOTA 戰(zhàn)績港大與 Kimi 團隊前后腳放出 OpenCUA主打人人可造專屬電腦智能體。當模型派開始成建制地開源那個長期盤踞 GitHub 趨勢榜、被社區(qū)稱為Cua的 27k 星倉庫 trycua/cua 反而顯得安靜——它沒有新權重可發(fā)。但把倉庫拆開看會發(fā)現(xiàn)它的護城河從來不在模型權重而在模型之下的電腦層跨三操作系統(tǒng)的驅動Cua Driver、沙箱與本地虛擬機運行時SDK/CLI Lume、評測與數(shù)據(jù)工廠Cua Bench以及一套把 OpenCUA、UI-TARS 直接吃掉當自家組件的模型無關適配層。本文基于倉庫源碼逐行核對回答一個問題模型陣營集體開源的這幾天trycua/cua 是被圍剿還是恰好被抬到了更高的生態(tài)位。一、兩位挑戰(zhàn)者SOTA 戰(zhàn)績與人人可造的敘事先給模型派記分。UI-TARS-1.5ByteDance SeedUI-TARS 系列的第二代開源權重。trycua/cua 倉庫自己的博客在對比各模型能力時引用了它的基準數(shù)據(jù)這張表也是目前社區(qū)引用率最高的OS 操作能力坐標系之一BenchmarkUI-TARS-1.5OpenAI CuaClaude 3.7此前 SOTAHumanOSWorld100 步42.536.428.038.1200 步72.4Windows Agent Arena50 步42.1——29.8—WebVoyager84.887.084.187.0—Online-Mind2Web75.871.062.971.0—AndroidWorld64.2——59.5—上表出自 Cua 團隊維護的模型能力對照blog/build-your-own-operator-on-macos-2.md這張表透露的信息比分數(shù)本身更重要UI-TARS-1.5 的強項集中在OS/桌面級任務OSWorld、Windows Agent Arena 雙雙刷新 SOTA瀏覽器場景 OpenAI Cua 仍保留 2 個百分點優(yōu)勢。Cua 團隊的選型結論也因此寫得很直白需要更強 OS/桌面能力和低延遲自動化時選 UI-TARS Loop。對一個開源模型而言在最難打的原生桌面場景上超過閉源 API就是它能快速出圈的原因。OpenCUA港大 Kimi走的是另一條敘事——人人可造專屬電腦智能體。與 UI-TARS 主打綜合智能體不同OpenCUA 是典型的 grounding界面定位模型給一張截圖和一句點這里它輸出click(x..., y...)。7B 級權重開源意味著開發(fā)者可以在本地起一個 OpenAI 兼容端點自己組裝智能體循環(huán)不必依賴任何云 API。同期中文社區(qū)出現(xiàn)了一整批截圖 多模態(tài)模型 pyautogui手寫 CUA 的教程潮阿里的 Qwen-CUA397B MoE等模型也在此前后發(fā)布——人人可造不是口號而是工程事實一個視覺定位模型 一個鍵鼠執(zhí)行器最小可用 CUA 就閉環(huán)了而這兩個部件現(xiàn)在都是開源的。模型派這一輪攻勢本質上是把 CUA 棧里最貴的智力層免費化了。接下來看 trycua/cua 手里還攥著什么。二、生態(tài)位賣電腦不賣大腦打開 README.md第一句話是 Give AI agents computers they can use.——注意不是 Give AI agents a brain。倉庫自我定位是四件套Cua Driver跨 macOS/Windows/Linux 的桌面自動化驅動通過 CLI、MCP 或類型化 SDK 接入支持后臺投遞——智能體干活時不動你的指針、不搶焦點Cua SDK CLI一條cua命令和 Rust 核心管本地虛擬機、gVisor/Docker 容器、云端沙箱沙箱內的 cua-spacesd 守護進程在 3211 端口暴露進程、文件、截屏與輸入能力Lume基于 Apple Virtualization.Framework 的本地 macOS/Linux 虛擬機管理M 系列芯片上從 Apple 恢復鏡像創(chuàng)建 Tahoe 虛擬機并 SSH 接入Cua Bench建任務、跑評測、導出訓練軌跡的基準與 RL 環(huán)境。倉庫架構圖把生態(tài)位畫得很清楚img/cua-architecture.png整個棧被切成 Environment / Execution / Intelligence 三層最右一列 Agent Framework 標注著100 VLM Options、Pre-built agent loops、Bring Your Own Key。換句話說trycua/cua 從設計上就把大腦外置為可插拔組件——模型派開源的不是威脅而是給它補上了免費、可本地化的選項。商業(yè)結構同樣自洽倉庫絕大部分代碼SDK、CLI、Driver、Lume、Bench是 MIT只有 Cua Spaces 應用層走 FSL-1.1-MIT源可用、不可提供競品托管服務、每個版本兩年后轉 MIT見 LICENSING.md 與 COMMERCIAL.md。它賣的是給你的智能體一臺電腦的運行時與服務模型層恰恰是它最不需要獨占的部分。三、源碼級證據(jù)OpenCUA 與 UI-TARS 早已是 Cua 的內置組件最能說明守擂姿勢的不是 README 措辭而是 libs/python/agent/ 下的 agent loop 目錄。Cua 把每個模型廠商的怪癖封裝成獨立的Agent Loop用正則注冊——模型名一換大腦即換register_agent(modelsr(?i).*OpenCUA.*) # loops/opencua.py register_agent(modelsr(?i).*ui-?tars-?2.*) # loops/uitars2.py逐個看細節(jié)才能理解模型無關要吞掉多少臟活。OpenCUA Loop 的坐標工程libs/python/agent/cua_agent/loops/opencua.pyOpenCUA 端點不理會 provider 側的像素提示所以 Cua 在發(fā)送前真的重編碼圖片——用qwen_vl_utils.smart_resize按factor28、max_pixels12845056縮放并記住縮放系數(shù)把模型返回的坐標反向映射回原始分辨率MIN_PIXELS 3136 MAX_PIXELS 12845056 FACTOR 28 rh, rw smart_resize(orig_h, orig_w, factorFACTOR, min_pixelsMIN_PIXELS, max_pixelsMAX_PIXELS) # ... def _rescale(x: int, y: int) - Tuple[int, int]: if last_orig_w and last_orig_h and last_rw and last_rh: return _rescale_coordinate(x, y, last_orig_w, last_orig_h, last_rw, last_rh) return (x, y)輸出解析同樣為 OpenCUA 定制優(yōu)先匹配其原生的click(x..., y...)extract_coordinates_from_click還兼容舊式pyautogui.click(...)輸出再退到 【免費下載鏈接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.項目地址: https://gitcode.com/GitHub_Trending/cua/cua創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考