在自動駕駛時代奔涌向前的路上，仿真測試早已不再是可選項，而是驗證智能駕駛系統(tǒng)安全性、魯棒性和泛化能力的剛需，如何提升仿真測試的保真度已成為無法避免的重要話題。

這正是“數(shù)字孿生”出現(xiàn)的時代背景。本文為大家詳細介紹如何用傳統(tǒng)與前沿結(jié)合的數(shù)字孿生構(gòu)建流程，再配合3DGS 的神經(jīng)網(wǎng)絡重建技術(shù)，為自動駕駛仿真測試注入真正的“現(xiàn)實之眼”。

一、從點云到高精地圖的重建

依托獨家的aiData工具鏈與aiSim仿真平臺，本文建立了一套高精度數(shù)字孿生地圖構(gòu)建流程，已經(jīng)廣泛應用于布達佩斯 Kolosy廣場、ZalaZone測試場等真實道路還原項目。整個流程包括：

（左）帶有標注的HD地圖、（中）裝飾HD地圖、（右）aiSim中渲染

1、數(shù)據(jù)采集

采用搭載激光雷達（LiDAR）、高精度GNSS/INS系統(tǒng)的測繪車（如康謀DATALynx ATX4）執(zhí)行移動激光掃描（MLS），通過aiData Recorder進行錄制，主要路線至少繪制兩次，確保厘米級空間精度。

數(shù)采車示意圖

2、點云聚合

使用aiData Annotator將多幀點云拼接為統(tǒng)一的全局坐標系，結(jié)合反射率、時間戳等多通道信息形成高密度、低誤差的空間點集。

Tips：詳細數(shù)據(jù)采集精度和點云數(shù)據(jù)格式可聯(lián)系康謀技術(shù)團隊獲取，可接受第三方數(shù)據(jù)，但建議在采集前與我們技術(shù)團隊溝通優(yōu)化策略。

3、高精地圖建模

基于聚合點云手工標注道路元素：車道線、交通標志、人行道、護欄、紅綠燈等。輸出為GeoPackage格式的HD Map，用于自動駕駛系統(tǒng)參考。

ZalaZone試驗場 LiDAR點云建模

ZalaZone試驗場衛(wèi)星參考圖像

4、三維建模與裝飾

借助Atlas程序化建模引擎，生成道路、地形等基礎結(jié)構(gòu)，再通過aiSim Unreal插件手工裝飾建筑、植被、街景設施，最大程度復現(xiàn)現(xiàn)實細節(jié)。為了獲取最大精度，康謀將會采用DCC工具，例如Maya、Blender、Substance等工具利用可用數(shù)據(jù)構(gòu)建新模型；

二、顛覆性革新：NeRF 與 3DGS 重建

傳統(tǒng)方式固然精準，但高成本、高周期、強人工依賴，難以支撐大規(guī)模、快速迭代的測試需求。

本文分享的神經(jīng)網(wǎng)絡重建方案，則以NeRF+ 3DGS為核心技術(shù)，實現(xiàn)了從真實環(huán)境到仿真世界的躍遷：

1、僅需數(shù)日，完成街景重建

相比傳統(tǒng)數(shù)月的手動建模，神經(jīng)網(wǎng)絡重建只需幾天時間，就能將采集到的圖像和點云數(shù)據(jù)自動生成高保真的三維靜態(tài)場景。

在aiSim中重建Waymo場景

2、進一步消除 Domain gap，場景逼真如實地拍攝

通過DEVIANT算法驗證3D目標檢測精度、Mask2Former測量像素一致性等方式，驗證了神經(jīng)重建場景在多攝像頭視角下的高可用性與仿真一致性。

請查看最新發(fā)表的論文“Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation”

3、降本增效，拒絕重復建模

方案致力于告別繁復的建模軟件與人工建模流程，實現(xiàn)端到端自動化構(gòu)建，大幅降低人力與制作成本。

4、場景增強與標準兼容

在生成的三維場景中，可靈活添加動態(tài)對象（車輛、行人、信號燈等），并全面兼容OpenSCENARIO標準，適配多種自動駕駛測試平臺。

三、重建工作流：從采集到仿真部署

神經(jīng)網(wǎng)絡重建方案遵循高度自動化流程：

流程圖

（1）數(shù)據(jù)采集：使用DATALynx ATX4記錄圖像、LiDAR點云和自車位姿；推薦配置包括Hesai Pandar64、環(huán)視非魚眼攝像頭和NovAtel高精度組合導航系統(tǒng)。

（2）數(shù)據(jù)轉(zhuǎn)換：將原始數(shù)據(jù)轉(zhuǎn)化為康謀格式，統(tǒng)一處理點云、圖像和標定信息。

（3）自動標注：利用aiData工具鏈去除動態(tài)目標、生成GT數(shù)據(jù)，實現(xiàn)非因果式追蹤。

環(huán)視系統(tǒng)自動標注

（4）神經(jīng)網(wǎng)絡訓練：使用NeRF/3DGS算法生成高精度三維場景。

（5）仿真部署與增強：在aiSim仿真平臺中集成重建場景，配置不同環(huán)境（暴雨、夜晚、雪天）、多模態(tài)傳感器（攝像頭、LiDAR、毫米波雷達等）與虛擬交通流。

雨天場景

四、仿真世界，無需困于“假”

在自動駕駛技術(shù)快速發(fā)展的今天，數(shù)字孿生已從簡單的場景復制，進化為具備真實物理特性的虛擬世界。我們和眾多同行們正在見證一場仿真技術(shù)的革命：

（1）通過激光雷達的精準測繪確保厘米級精度

（2）借助3DGS/NeRF實現(xiàn)場景的智能重建

（3）融合傳統(tǒng)與創(chuàng)新的技術(shù)優(yōu)勢

康謀致力于將傳統(tǒng)構(gòu)建流程與前沿神經(jīng)網(wǎng)絡重建技術(shù)相融合，用速度、真實與自動化重塑自動駕駛仿真測試的范式。

我是分享自動駕駛技術(shù)的康謀，歡迎探討交流~