【免費下載鏈接】map-anything-apache-fp16項目地址https://ai.gitcode.com/hf_mirrors/mlx-community/map-anything-apache-fp16點擊查看免費下載map-anything-apache-fp16 是 MapAnythingMeta 與 CMU 的度量級前饋式 3D 重建模型的 float16 MLX 移植版專為 Apple Silicon 優(yōu)化。它最靈活的地方在于每一張輸入圖像都可以自由搭配相機內(nèi)參、深度圖與相機位姿中的任意組合——只給照片、部分標定還是全部提供模型一次前向推理就能輸出度量點云、深度圖、相機位姿、內(nèi)參、置信度與有效像素掩碼讓你用已有的 SfM / 深度估計 / 標定結(jié)果大幅增強 3D 重建質(zhì)量。 這個模型能做什么項目說明輸入1 張或多張圖片加任意可選的內(nèi)參、深度圖、相機位姿每個視圖可獨立組合輸出每張視圖的度量點圖、深度、光線方向、相機位姿、內(nèi)參、置信度、有效掩碼體積權(quán)重僅約 2.65 GB是 float32 原版的一半見 model.safetensors許可Apache License 2.0LICENSE運行環(huán)境本倉庫只含權(quán)重與元數(shù)據(jù)推理代碼在mlx-vlm中需包含mapanything模型、0.7.4 之后新增的版本 三種可選輸入逐項詳解1?? 相機內(nèi)參intrinsics一個 3×3 的標定矩陣K。如果你手頭有現(xiàn)成的標定結(jié)果OpenCV 標定、相機廠商參數(shù)等直接傳入即可模型會利用它約束光線方向而不是靠網(wǎng)絡(luò)猜測。2?? 深度圖depth_z逐像素的度量深度圖與輸入圖像分辨率一致。來源可以是單目深度估計模型、LiDAR 或深度相機。給模型一個粗略答案它能在此基礎(chǔ)上精修顯著提升遮擋與弱紋理區(qū)域的深度質(zhì)量。3?? 相機位姿camera_poses位姿用四元數(shù) 平移向量表示即(quats_xyzw, trans)元組旋轉(zhuǎn) 4 維、平移 3 維對應(yīng) config.json 中cam_rot_quats_encoder的in_chans: 4與cam_trans_encoder的in_chans: 3。關(guān)鍵參數(shù)is_metric_scale如果你的位姿來自 COLMAP 等 SfM 流程只能確定到比例尺、沒有真實米制單位傳入時加上is_metric_scale: False模型會通過內(nèi)置的scale_encoder自動恢復(fù)度量尺度。深度輸入則是 1 通道的稠密編碼器depth_encoderpatch_size: 14與上述編碼器一起構(gòu)成模型的幾何輸入通道。 任意組合每個視圖自由搭配這正是 map-anything-apache-fp16 的精髓——不同視圖之間互不干擾同一視圖內(nèi)三種輸入也可任意取子集。下面 3 個視圖分別演示了全量提供、僅內(nèi)參、僅位姿非度量尺度三種典型搭配views processor.preprocess([ {img: image0, intrinsics: K0, depth_z: depth0, camera_poses: pose0}, {img: image1, intrinsics: K1}, {img: image2, camera_poses: (quats_xyzw, trans), is_metric_scale: False}, ]) predictions model.infer(views)典型使用場景對照組合方式適用場景僅img純照片重建完全無標定信息imgintrinsics有相機參數(shù)但無位姿的固定場景imgcamera_posesCOLMAP/SfM 結(jié)果增強注意is_metric_scaleimgdepth_z 全量深度相機 / 激光雷達采集的高精度場景 預(yù)測輸出字段說明調(diào)用model.infer(views)后每個視圖返回一個字典惰性求值用mx.eval觸發(fā)計算字段形狀含義pts3d(1, H, W, 3)度量世界坐標點以第一張視圖的相機坐標系為基準depth_z(1, H, W, 1)度量深度camera_poses(1, 4, 4)OpenCV 約定的 cam2world 位姿intrinsics(1, 3, 3)預(yù)測內(nèi)參conf(1, H, W)逐像素置信度mask(1, H, W, 1)有效像素?zé)o歧義掩碼? 命令行一鍵推理不想寫代碼時可直接用命令行所有輸出會寫入predictions.npz并額外導(dǎo)出一份彩色點云points.plyMLX_ENABLE_TF320 python -m mlx_vlm.models.mapanything.generate \ --model mlx-community/map-anything-apache-fp16 --images path/to/images --output out? 進階小貼士記得設(shè)置MLX_ENABLE_TF320在 M5 及更新 GPU 上MLX 默認以 TF32 精度執(zhí)行 float32 矩陣乘會讓 float32 的預(yù)測頭成為最大誤差來源。在首次矩陣乘之前設(shè)置該變量可避免問題只多花幾毫秒。分辨率預(yù)處理模型采用固定映射到 518 的分辨率集preprocessor_config.json 中resize_mode: fixed_mapping、resolution_set: 518輸入圖會被自動規(guī)整。精度實測在 518×294 的 4 幀室外視頻上與 float32 PyTorch 參考實現(xiàn)相比深度尺度歸一化后中位相對誤差約 6.0e-4度量尺度誤差在 1.1e-4 以內(nèi)與參考實現(xiàn)在 MPS 上的混合精度表現(xiàn)持平。速度參考Apple M5 Max518×294 視圖MLX 本模型 vs PyTorch MPS 混合精度視圖數(shù)1481632MLX 本模型0.06 s0.23 s0.48 s1.10 s2.89 sPyTorch MPS0.13 s0.47 s1.73 s5.27 s11.3 s 倉庫文件資料速查文件作用README.md完整用法、精度與速度實測數(shù)據(jù)config.json模型結(jié)構(gòu)配置含幾何輸入編碼器定義geometric_input_configpreprocessor_config.json圖像預(yù)處理配置固定映射到 518 分辨率model.safetensorsfloat16 權(quán)重約 2.65 GB1.13B float16 95M float32 參數(shù)LICENSEApache License 2.0 許可? 一句話總結(jié)把你能拿到的內(nèi)參、深度圖、相機位姿有多少給多少map-anything-apache-fp16 就能在 Apple Silicon 上以毫秒級推理給你一套度量級的 3D 重建結(jié)果。贊分享【免費下載鏈接】map-anything-apache-fp16項目地址https://ai.gitcode.com/hf_mirrors/mlx-community/map-anything-apache-fp16點擊查看免費下載相關(guān)推薦內(nèi)參、深度、位姿想加就加map-anything-fp16任意輸入組合指南解鎖最強重建精度內(nèi)參、深度、位姿想加就加map anything fp16任意輸入組合指南解鎖最強重建精度 map anything fp16 是運行在 Apple Silpts3d、深度、置信度怎么用map-anything-fp16的6大預(yù)測輸出一篇講透pts3d、深度、置信度怎么用map anything fp16的6大預(yù)測輸出一篇講透 map anything fp16 是 Meta MapAnythinDepth Anything 3重磅模型DA3-LARGE-1.10.35B參數(shù)如何同時搞定多視角深度估計與相機位姿Depth Anything 3重磅模型DA3 LARGE 1.10.35B參數(shù)如何同時搞定多視角深度估計與相機位姿 DA3 LARGE 1.1 是 Dep上一篇vmPing 多主機ping監(jiān)控指南下一篇DDrawCompat 使用指南1 個 DLL 修復(fù) DirectX 1-7 老游戲的兼容性問題創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考