第一次啟動Carla敲下那條熟悉的啟動命令地圖在UE引擎里慢慢加載出來街道上的車輛和行人開始流動那一瞬間很難不把它當(dāng)游戲看。實際上Carla是當(dāng)前自動駕駛研發(fā)里使用頻率最高的開源模擬器之一它的定位就是Self-Driving Car Simulation一個提供城市級道路環(huán)境、多類傳感器模擬、可編程交通流和車輛動力學(xué)接口的仿真平臺。這篇7-1的Carla Overview聊的不是某個具體算法怎么實現(xiàn)而是把Carla整體框架講清楚包括它解決什么問題、架構(gòu)怎么分層、傳感器有哪些、怎么快速跑通一個最小自動駕駛閉環(huán)以及在真實項目里最值得注意的坑。如果你正準備做感知、規(guī)劃控制或數(shù)據(jù)生成這篇內(nèi)容可以把頭開起來。1. 為什么選Carla做自動駕駛仿真先算清安全和成本這兩筆賬1.1 一個模擬器解決的真實需求安全、成本、復(fù)現(xiàn)性自動駕駛算法做得再漂亮也不能直接扔到開放道路上試驗。一條真實的研發(fā)測試路線上跑一次可能涉及安全員、測試申請、車輛損耗遇到一個危險場景甚至只能緊急接管。換句話說實車測試的成本不是“油錢”而是風(fēng)險和時間。在項目早期團隊關(guān)心的往往不是“能不能跑”而是“敢不敢讓它跑”。讓一輛配備激光雷達、多路相機和高性能計算單元的測試車在雨天十字路口做出激進變道絕大多數(shù)人都沒這個膽量。但Carla里隨時可以這么干把車開到極限、讓它撞上路沿、讓行人突然橫穿重置場景之后再來一次。撞壞一輛虛擬車只需要點一下重置。成本方面算一筆賬更好理解。一臺帶線控底盤、毫米波雷達、多相機和計算平臺的研發(fā)測試車加起來幾十萬起步而Carla是開源的不需要授權(quán)費只要能帶得動UE渲染的GPU就能跑。對個人開發(fā)者和小團隊來說這是很長一段時間里唯一能負擔(dān)得起的“城市級路測環(huán)境”。還有一點容易被忽略復(fù)現(xiàn)性。真實道路上出事往往靠運氣同一個惡劣天氣下的鬼探頭想用實車復(fù)現(xiàn)基本看緣分。但在Carla里場景是一組參數(shù)地圖、天氣、交通密度、行人路徑都可以固定同一個bug可以在同一條街道上反復(fù)復(fù)現(xiàn)修完再跑同樣的測試用例做回歸。這種“確定性”對調(diào)試感知模型和控制邏輯至關(guān)重要。1.2 Carla在自動駕駛技術(shù)棧里的卡位連接感知、規(guī)劃、控制的閉環(huán)驗證一個完整的自動駕駛系統(tǒng)通常分成感知、預(yù)測、規(guī)劃、控制四層。Carla不替你做這些算法它提供的是讓整套算法“動起來”的城市環(huán)境以及能產(chǎn)生傳感器數(shù)據(jù)的接口。比如你的感知模型要從相機圖上輸出目標框Carla會按照你設(shè)定的相機參數(shù)和環(huán)境光照生成帶深度信息的RGB圖像你的規(guī)劃模塊要在道路網(wǎng)上找一條可行駛軌跡Carla的地圖會給你車道、交叉路口、信號燈和路緣數(shù)據(jù)控制模塊要輸出油門、剎車、轉(zhuǎn)向Carla的車輛模型會真的把這輛車在虛擬物理世界里推出去。整條鏈路在仿真環(huán)境里是閉環(huán)的這是很多單點仿真工具做不到的。用一句話概括Carla是算法和世界之間的“公共接口”。它把真實世界中需要用昂貴硬件和復(fù)雜傳感系統(tǒng)才能得到的東西抽象成一組可以寫進Python代碼里的對象和API。1.3 和AirSim、SUMO這些仿真器比Carla的取舍在哪里很多人會問市面上的仿真器那么多為什么偏偏先學(xué)Carla這不是沒有道理的選擇題。AirSim同樣基于UE引擎在飛行器和單機感知研究里做得很好但它的城市級場景、道路網(wǎng)規(guī)則和自動駕駛相關(guān)的交通流支持明顯沒有Carla那么成體系。SUMO則完全是另一條路線擅長路網(wǎng)交通流和路口信號協(xié)調(diào)能模擬上萬輛車但它沒有像素級傳感器也沒有車輛動力學(xué)意義上的“駕駛”你要驗證攝像頭感知算法在SUMO里無從下手。PreScan和CarSim是成熟的商業(yè)工具精度高、和行業(yè)工具鏈集成好但價格和授權(quán)方式對個人用戶很不友好。Carla的取舍在于它同時照顧了“環(huán)境真實性”和“接口便利性”。有UE引擎提供的渲染質(zhì)量有OpenDRIVE標準道路網(wǎng)有豐富傳感器模型還有Python API可以直接操控。它不追求單一維度的極致精度但作為通用自動駕駛仿真底座綜合成本最低。當(dāng)然代價也有——體量大、啟動重、對GPU要求高這些后面會聊。2. Carla整體架構(gòu)與核心概念服務(wù)端、客戶端、藍圖和地圖2.1 服務(wù)端-客戶端模型一個負責(zé)渲染世界一個負責(zé)寫控制邏輯Carla的架構(gòu)很容易理解但也是很多新手繞不過去的第一個坎。它分兩個獨立進程服務(wù)端是CarlaUE4負責(zé)渲染城市、跑物理引擎、計算傳感器數(shù)據(jù)、維護交通流客戶端是Python進程通過CARLA PythonAPI連接服務(wù)端創(chuàng)建角色、掛載傳感器、下發(fā)控制命令。端口默認2000客戶端通過carla.Client(localhost, 2000)連接。開一個服務(wù)端可以同時被多個客戶端連接這個設(shè)計對并行訓(xùn)練很有用一臺帶強GPU的機器跑服務(wù)端另外幾臺機器各自跑客戶端算法任務(wù)。我平時做數(shù)據(jù)生成時會在一臺機器上開三四個Carla實例端口分別設(shè)為2000、3000、4000每個實例負責(zé)不同地圖天氣組合?？蛻舳撕头?wù)端是一對多的關(guān)系版本必須嚴格匹配。0.9.15的客戶端去連0.9.14的服務(wù)端大概率會直接報版本錯誤即使不報錯某些API行為和傳感器數(shù)據(jù)格式也可能有差異。每下載一個Carla壓縮包解壓后PythonAPI/carla/dist目錄下會有一個egg文件文件名里帶了Python版本信息這個文件的路徑一定要加進PYTHONPATH否則import carla直接失敗。2.2 藍圖、Actor、Spawn這些概念到底在說什么Carla把世界里的所有可操作對象都抽象成Actor車輛、行人、傳感器、交通燈、路面標記都是Actor。創(chuàng)建Actor不是直接實例化而是從BlueprintLibrary里挑一個藍圖Blueprint再生成。藍圖相當(dāng)于“物種庫”vehicle.audi.etron是奧迪e-tronsensor.camera.rgb是RGB相機walker.pedestrian.0001是某一種行人外觀。我在最開始接觸Carla時總把藍圖當(dāng)成普通對象模板其實它更像生物分類同一個車型藍圖可以生成多輛車每輛車又是獨立的Actor。修改藍圖屬性會影響以后生成的所有Actor已生成的Actor不受影響。生成Actor的動作叫spawn_actor。車輛和行人一般需要給定一個Transform位置和朝向傳感器則通常不直接獨立存在而是用attach_to掛到車輛或行人身上跟隨宿主移動。一個典型操作是給車掛相機world.spawn_actor(camera_bp, camera_transform, attach_tovehicle)掛在車頂?shù)南鄼C就隨著車輛一起動作傳感器坐標相對宿主不變。2.3 地圖、道路網(wǎng)與OpenDRIVE場景不是貼圖而是一套可查詢的數(shù)據(jù)Carla官方地圖從Town01一直到Town15每張地圖都有自己的性格。Town01是最簡單的直線路網(wǎng)Town02帶環(huán)形交叉口Town03混合城區(qū)場景Town04是小鎮(zhèn)布局Town05專門設(shè)計了復(fù)雜的十字路口和車道變化。做算法初測時我最常用Town03道路豐富又不至于太難做終點測試或者比賽類場景再切換到更復(fù)雜的地圖。地圖底層的道路描述是OpenDRIVE格式.xodr文件這是一種公開的道路網(wǎng)描述標準。它定義了每條車道的幾何形狀、車道數(shù)量、寬度、速度限制、路口連接關(guān)系和信號燈位置。Carla把道路網(wǎng)當(dāng)成結(jié)構(gòu)化數(shù)據(jù)提供這意味著你的規(guī)劃算法可以直接查詢world.get_map().get_spawn_points()拿到合法生成點也可以用map.get_waypoint_xodr()拿到指定坐標最近的車道點。理解這點很重要Carla里的“場景”不是一個圖片文件夾而是一套可以被算法的坐標系、查詢、路線規(guī)劃使用的路網(wǎng)數(shù)據(jù)庫。地圖的可編輯性也很強可以用RoadRunner導(dǎo)入自建的高精地圖或OpenDRIVE文件也可以直接對地圖做局部修改。不過做自定義地圖時要注意坐標對齊、車道連接邏輯這些細節(jié)這是另一個大坑建議從官方自帶Town地圖上手。3. 傳感器模擬的硬核細節(jié)把虛擬數(shù)據(jù)當(dāng)成真實數(shù)據(jù)用3.1 相機傳感器RGB、深度、語義分割、光流各有什么思路Carla里最常用的傳感器就是相機。從藍圖庫里可以找到sensor.camera.rgb、sensor.camera.depth、sensor.camera.semantic_segmentation和sensor.camera.optical_flow四類。RGB相機和普通相機一致核心參數(shù)是分辨率image_size_x和image_size_y、視場角fov還有一個sensor_tick控制采集頻率。新手最容易犯的錯是調(diào)整相機高度和位置隨意導(dǎo)致后續(xù)感知模型的標定關(guān)系對不上。我常用的默認配置是1280x720、fov 90掛在車頂前方2.4米高度看起來高度很隨意但后續(xù)做相機-車輛坐標變換時方便。深度相機和語義分割相機有個關(guān)鍵點直接從回調(diào)里拿到的圖像不能直接用先要調(diào)用image.convert(carla.ColorConverter.Depth)或carla.ColorConverter.CityScapesPalette轉(zhuǎn)成可視化形式。特別是語義分割轉(zhuǎn)換后的像素值對應(yīng)Cityscapes的19類語義標簽這是很多語義分割訓(xùn)練數(shù)據(jù)的標準格式。從Carla生成數(shù)據(jù)集核心流程就是把原始圖像和轉(zhuǎn)換后的語義圖成對保存后面訓(xùn)練網(wǎng)絡(luò)時直接用。光流相機輸出的是每個像素的運動向量場這在做運動預(yù)測和視覺里程計任務(wù)時會用到。它返回的不是普通圖像而是帶浮點分量的向量場需要自己解析水平垂直光流分量。使用前最好先跑官方文檔里的光流示例確認數(shù)據(jù)結(jié)構(gòu)別急著直接接到自己的光流模型里。3.2 LiDAR與毫米波雷達點云和稀疏檢測數(shù)據(jù)的典型特征激光雷達是自動駕駛感知里最“實在”的傳感器Carla的LiDAR模擬也會給出一幀幀點云數(shù)據(jù)。關(guān)鍵參數(shù)有四個channels通道數(shù)64線、128線常見、range最遠量程默認50米可以拉到100米甚至更多、points_per_second每秒點數(shù)以及rotation_frequency掃描頻率。我一般把64線、100米量程、每秒100萬點和10Hz掃描作為標準配置因為這是一套接近真實中距離雷達的組合。點云數(shù)據(jù)中每個點包含x,y,z,intensity坐標系原點是傳感器掛載點x指向車頭。做目標檢測算法時要把點云轉(zhuǎn)到車輛坐標系再考慮去地面、聚類、目標框回歸這些常規(guī)操作和真實雷達數(shù)據(jù)是一套處理邏輯。毫米波雷達在Carla里是sensor.other.radar返回的每個測量點帶azimuth、altitude、depth距離和velocity相對速度。它的特點是稀疏、噪聲比較明顯和真實雷達輸出一致。做雷達的目標列表或者融合時別期望它像LiDAR一樣密雷達本身的價值在于直接給速度信息。Carla的雷達設(shè)定頻率一般是20Hz比相機更高在做時序融合時要注意幀率對齊。3.3 GNSS/IMU與傳感器坐標系做融合前必須整明白的尺子Carla里汽車的坐標系定義很特別x軸向前y軸向左z軸向上。這一點和很多車輛工程里的坐標系習(xí)慣一致但和某些設(shè)備坐標系不一樣。做傳感器外參標定時多花五分鐘確認坐標系方向能省下半天調(diào)bug的時間。GNSS和IMU解決的是“車在哪”和“車姿態(tài)怎么變”的問題。GNSS輸出經(jīng)緯高還可以設(shè)置噪聲標準差模擬真實信號抖動IMU輸出加速度、角速度和指南針方向。這兩類傳感器通常不需要掛到具體車輛上直接以自身位置生成但要注意IMU的輸出頻率通常高于GNSS數(shù)據(jù)融合時要先統(tǒng)一時間戳。最容易被坑的是“同步問題”。如果你在異步模式下同時采集相機圖像和LiDAR點云兩者時間戳對不上會直接影響融合效果。后面我會專門講同步模式這是做數(shù)據(jù)生成和評估時最重要的配置項沒有之一。4. 新手必看的實操全流程從空地圖跑到一個自動駕駛閉環(huán)4.1 環(huán)境準備與版本安裝Linux下最省心的組合Carla的安裝沒有想象中復(fù)雜但也不能太隨意。官方通常提供壓縮包解壓到任意目錄就能啟動。我的建議是直接在Linux下跑Ubuntu 20.04或者22.04都可以顯卡驅(qū)動和CUDA先確認好。Windows也能跑但在多實例、Python環(huán)境兼容和底層調(diào)試上會多出不少額外麻煩。安裝依賴有兩個重點一是把PythonAPI里的egg文件路徑加入環(huán)境變量二是裝好必要的Python庫。以0.9.15為例解壓后目錄里會有PythonAPI/carla/dist/carla-0.9.15-py3.10-linux-x86_64.egg如果你的Python是3.10執(zhí)行export CARLA_ROOT~/carla export PYTHONPATH$CARLA_ROOT/PythonAPI/carla/dist/carla-0.9.15-py3.10-linux-x86_64.egg:$CARLA_ROOT/PythonAPI/carla:$PYTHONPATH pip install numpy pygame opencv-python啟動服務(wù)端時如果機器顯存比較緊張建議加上低質(zhì)量參數(shù)./CarlaUE4.sh -quality-levelLow這一條指令可以讓渲染分辨率降下來對跑算法邏輯影響不大但顯存占用明顯變小。我第一次用老顯卡跑Town03卡到幾乎沒法操作加上-quality-levelLow之后整個畫面立刻流暢了實測下來對傳感器數(shù)據(jù)的內(nèi)容影響很小。如果GPU性能足夠不開也行畫面質(zhì)量和真實感會更好。4.2 最小可用腳本生成車輛、掛載相機、下發(fā)第一腳油門跑一個能動的Carla程序其實只要幾個核心步驟創(chuàng)建客戶端、加載地圖、選藍圖、生成車輛、掛相機、循環(huán)控制。我寫個最小示例你可以直接復(fù)制去跑import carla import random import time # 1. 連接服務(wù)端 client carla.Client(localhost, 2000) client.set_timeout(20.0) # 2. 加載地圖 world client.load_world(Town03) time.sleep(5) # 等地圖加載完成簡單粗暴但有效 # 3. 獲取藍圖庫選一輛車 bp_lib world.get_blueprint_library() vehicle_bp random.choice(bp_lib.filter(vehicle.*)) # 4. 選一個生成點生成車輛 spawn_points world.get_map().get_spawn_points() spawn_point random.choice(spawn_points) vehicle world.try_spawn_actor(vehicle_bp, spawn_point) if vehicle is None: spawn_point spawn_points[0] vehicle world.spawn_actor(vehicle_bp, spawn_point) # 5. 掛載一個RGB相機 camera_bp bp_lib.find(sensor.camera.rgb) camera_bp.set_attribute(image_size_x, 1280) camera_bp.set_attribute(image_size_y, 720) camera_bp.set_attribute(fov, 90) camera_transform carla.Transform(carla.Location(x1.5, z2.4)) camera world.spawn_actor(camera_bp, camera_transform, attach_tovehicle) # 6. 回調(diào)里保存圖像 camera.listen(lambda image: image.save_to_disk(fout/{image.frame:06d}.png)) # 7. 給一腳油門看看車動不動 for _ in range(100): vehicle.apply_control(carla.VehicleControl(throttle0.5, steer0.0, brake0.0)) time.sleep(0.1)這個腳本每一步都有它的意義。load_world后面加延時是為了避免地圖還沒加載完就去查詢生成點try_spawn_actor則是因為部分生成點被占用時會返回None相機掛載到車上位置相對車輛不變這樣圖像會隨著車輛移動而移動才像“從車上拍的”。你可能注意到我這里沒有做感知沒有做規(guī)劃只是讓車自己往前開。但這就是一個基礎(chǔ)閉環(huán)后面所有復(fù)雜的東西都是往這里面填模塊。建議第一次接觸Carla的新手先把這個腳本跑通再考慮加其他傳感器和上層算法。4.3 Traffic Manager讓NPC車流和行人有“意識”單獨一輛車往前開是很無聊的真實的自動駕駛測試需要周圍有“會犯錯的車和行人”。Carla里讓NPC車輛自動駕駛的核心是Traffic Manager它是一套內(nèi)置的交通流管理模塊會控制NPC車輛以合理的速度跟車、變道、等紅綠燈。使用方法也不復(fù)雜tm_port 8000 tm client.get_trafficmanager(tm_port) # 讓一批車自動行駛 for npc in npc_list: npc.set_autopilot(True, tm_port) # 調(diào)整交通流參數(shù) tm.set_global_distance_to_leading_vehicle(2.0) # 前車距離 tm.set_desired_speed(npc, 8.0) # 固定某輛車速度 tm.ignore_lights_percentage(npc, 10) # 10%概率闖紅燈制造危險場景set_autopilot(True, tm_port)里的端口必須和創(chuàng)建Traffic Manager時一致這一點特別容易寫錯。寫錯后的表現(xiàn)是沒有報錯但NPC車完全不動或者只在原地打轉(zhuǎn)。行人Autopilot和車輛略有不同。行者需要用一個AI控制器來控制先生成行人的Actor再綁定controller.ai.walker控制器然后調(diào)用控制器啟動。我做行人橫穿場景時會先生成目標行人再用控制器設(shè)置目標點和速度讓它在指定時刻動起來這樣能精確復(fù)現(xiàn)“鬼探頭”場景。這里細節(jié)較多建議參考官方教程里的行人示例代碼。4.4 同步模式與數(shù)據(jù)采集為什么生成訓(xùn)練數(shù)據(jù)必須開同步這是我認為Carla里最影響數(shù)據(jù)質(zhì)量的一個開關(guān)。默認的異步模式服務(wù)端按自己的節(jié)奏實時渲染客戶端發(fā)一條控制指令后圖像和點云到達的時間會有差異。做可視化無所謂但做訓(xùn)練數(shù)據(jù)集比如相機和LiDAR要融合時間對不上就是災(zāi)難。解決方案是同步模式settings world.get_settings() settings.synchronous_mode True settings.fixed_delta_seconds 0.05 # 物理步長50ms即20Hz world.apply_settings(settings) for i in range(1000): world.tick() # 手動觸發(fā)一幀所有傳感器在同一時刻采集fixed_delta_seconds設(shè)成0.05表示每次tick固定推進50毫秒這樣幀率是穩(wěn)定的傳感器數(shù)據(jù)的時間戳也是確定性的。代價是如果你忘了調(diào)用world.tick()程序會卡住不動這是新手最常見的同步模式事故現(xiàn)場。我在這個模式下采集過一段時間的數(shù)據(jù)做物體檢測效果明顯比異步好。不光因為時間戳對齊還因為你可以精確控制車輛每一步的油門剎車方便生成連續(xù)的控制標簽。做完記得恢復(fù)異步模式否則退出程序時Carla可能一直停在卡死狀態(tài)。5. 常見問題與排查技巧實錄5.1 高頻故障速查表我把做Carla項目和幫別人排查時遇到的高頻問題整理成一張表照著排查能省很多時間問題現(xiàn)象可能原因解決思路import carla報錯或找不到模塊egg路徑?jīng)]加進PYTHONPATH確認egg文件名中的Python版本export到當(dāng)前終端客戶端連接失敗服務(wù)端沒啟動/端口占用檢查端口2000換端口啟動或殺舊進程加載地圖很久沒反應(yīng)編譯著色器或顯存不足第一次運行有編譯過程等幾分鐘加-quality-levelLow車輛生成失敗返回None生成點被占用換其他SpawnPoint或用try_spawn_actor循環(huán)嘗試畫面正常但NPC車不動Traffic Manager端口不匹配確認set_autopilot里的端口和get_trafficmanager端口一致同步模式下程序卡住忘記調(diào)world.tick()進入同步模式后每幀必須手動tick語義分割圖顏色不對沒轉(zhuǎn)換調(diào)色板調(diào)用convert(carla.ColorConverter.CityScapesPalette)LiDAR點數(shù)太少points_per_second太低提高到50萬或100萬點/秒5.2 新手最容易忽略的三個隱性雷區(qū)第一個雷區(qū)Python版本和服務(wù)端版本不匹配。Carla的egg文件名會帶Python版本號比如carla-0.9.15-py3.10如果你的Python解釋器是3.8直接import會失敗。遇到這個問題最簡單的做法不是硬湊環(huán)境而是查看官方對版本的支持矩陣換對Python版本。第二個雷區(qū)多實例并行時的資源配置。Carla多開對顯存特別敏感我遇到過開兩個實例后其中一個直接黑屏。解決辦法是每個實例都用低質(zhì)量啟動參數(shù)盡量減少車輛和行人總數(shù)同時給不同實例分配不同的GPU。在服務(wù)器上跑時用CUDA_VISIBLE_DEVICES隔離開比一個顯卡滿載然后崩潰要踏實得多。第三個雷區(qū)傳感器數(shù)據(jù)里的“無效幀”。Carla里傳感器在剛掛載的前幾幀可能返回空數(shù)據(jù)尤其是LiDAR和Radar。我在做數(shù)據(jù)采集腳本時加一個跳過前20幀的邏輯避免把空點云寫進數(shù)據(jù)集里。有人會忽略這個小細節(jié)結(jié)果訓(xùn)練時出現(xiàn)大量空白特征模型性能莫名其妙下降。6. 仿真和實車結(jié)合的個人經(jīng)驗與新手指南6.1 先跑虛擬回歸測試再上公開數(shù)據(jù)集最后才是實車我剛做自動駕駛時有一個習(xí)慣現(xiàn)在看是很危險的模型在公開數(shù)據(jù)集上表現(xiàn)不錯就直接想往實車上搬。后來一個在行業(yè)里做了多年的朋友告訴我一個流程先讓模型在Carla里跑固定路線回歸測試每次改完網(wǎng)絡(luò)都跑一遍相同的虛擬路線記錄mAP、平均碰撞次數(shù)、違規(guī)次數(shù)這些指標曲線有異常就說明什么地方退化了。這個習(xí)慣我一直保持到現(xiàn)在。Carla的價值不在于替代真實道路測試而是把“回歸測試”的成本降到零。真實路測一次都要耗費大量資源但模擬器里你可以準備固定10條路線每次改代碼后幾分鐘跑完快速看指標變化。一個小技巧把所有固定路線和天氣寫成一個JSON配置文件跑回歸測試時讀取配置循環(huán)執(zhí)行。這樣每次測試的隨機性很小對比結(jié)果才有意義。6.2 用Carla做強化學(xué)習(xí)環(huán)境的一套粗淺經(jīng)驗Carla也經(jīng)常被用來做強化學(xué)習(xí)訓(xùn)練。開源社區(qū)里已經(jīng)有把Carla封裝成Gym環(huán)境的項目方便接入Stable-Baselines3這類庫。獎勵函數(shù)怎么設(shè)是個大學(xué)問我的粗淺經(jīng)驗是不要只獎勵“前進距離”要同時懲罰“偏離車道”“碰撞”“時間延遲”否則訓(xùn)練出來的車學(xué)會原地轉(zhuǎn)圈賺獎勵看起來像很聰明實際就是個“刷分機”。仿真環(huán)境訓(xùn)練出來的策略直接搬到實車幾乎不可能存在典型的sim-to-real gap。光照、路面摩擦、傳感器噪聲都有差異。比較務(wù)實的做法是在Carla里用強化學(xué)習(xí)做策略預(yù)訓(xùn)練讓模型先學(xué)會基本駕駛行為再用真實數(shù)據(jù)做微調(diào)或行為約束而不是指望一個純仿真模型直接上實車。6.3 從模擬器到實車怎么判斷“仿真過”到底有沒有意義很多人把“仿真測試通過了”視為“實車一定能過”這是對模擬器最大的誤解。反過來仿真測試都過不了實車大概率更慘因為真實世界的不確定性只會更多。所以仿真測試的定位應(yīng)該是“過濾低級錯誤”。我用Carla判斷模型質(zhì)量時會關(guān)注兩個指標一是極端天氣下的表現(xiàn)比如把雨天、霧天、夜晚綜合起來跑看傳感器數(shù)據(jù)里的目標是否還能保持穩(wěn)定二是先驗知識能不能結(jié)合比如地圖先驗信息是否被正確注入到模型里而不是簡單堆更多網(wǎng)絡(luò)層。7. 最后分享幾點實際操作的體會裝好Carla很容易但把Carla用好需要有一些項目級的思維。我自己在跑仿真數(shù)據(jù)時一定會在腳本里加入隨機的種子控制這樣既能讓同一場景重復(fù)復(fù)現(xiàn)又能通過修改種子生成大量相似但不完全相同的訓(xùn)練樣本。一個固定的隨機種子往往對應(yīng)一個完全確定的場景序列做數(shù)據(jù)增強和測試回歸都很方便。很多同學(xué)問我“上手Carla多久能跑通”我的答案是如果只是跑通最小閉環(huán)一個下午都夠了但如果你要做傳感器融合、規(guī)劃控制或強化學(xué)習(xí)至少需要一周把API和官方案例過一遍。剛開始不要追求把所有地圖、所有傳感器都試一遍先用一張地圖、一個相機、一個LiDAR跑通整個“采集-處理-訓(xùn)練-評估”流程再慢慢擴展。還有一點是我踩過幾次坑之后總結(jié)出來的Carla的官方示例代碼一定要動手敲一遍不要只是看。很多細節(jié)只有在實際運行出錯時才會意識到比如時間同步的順序、坐標系的轉(zhuǎn)換、地圖加載的等待時長。寫在這里的每一條經(jīng)驗幾乎都對應(yīng)過一次真實的踩坑過程。工具本身是免費的真正值錢的是自己試錯之后沉淀下來的流程和方法。