接下來，我們將陸續(xù)發(fā)布5篇仿真主題的文章。嚴格意義上說，這是筆者的一系列學習筆記。

對自動駕駛仿真中的很多知識點（排名第一的就是“用真實道路數(shù)據(jù)做仿真”），筆者已經(jīng)好奇了兩年多時間，但此前一直沒有機會學習。今年4月份的疫情期間，偶爾得到了一次跟某仿真公司創(chuàng)始人閑聊的機會，筆者便趁機向其請教了許多問題。

此后，為交叉驗證，筆者又陸陸續(xù)續(xù)向近20位在自動駕駛仿真業(yè)務一線的專家請教。

對本系列學習筆記提供支持的專家包括但不限于智行眾維CEO安宏偉、深信科創(chuàng)創(chuàng)始人楊子江、智行眾維CTO李月、51 World CTO 鮑世強及毫末智行和輕舟智航、車右智能的仿真專家等。在此表示感謝。

一．場景來源——從合成數(shù)據(jù)到真實道路數(shù)據(jù)

據(jù)公眾號“車路慢慢”的作者李慢慢及智行眾維CTO李月介紹，仿真測試場景的來源，大體上可以有2種思路：

第一種思路是由德國PEGASUS項目提出的功能場景-邏輯場景-具體場景三層體系：1）、通過真實道路數(shù)據(jù)采集和理論分析等方式，得到不同的場景類型（即功能場景）；2）、再分析出這些不同場景類型中的關(guān)鍵參數(shù)，并通過真實數(shù)據(jù)統(tǒng)計和理論分析等方法得到這些關(guān)鍵參數(shù)的分布范圍（即邏輯場景）；3）、最后選取其中一組參數(shù)的取值作為一個測試場景（即具體場景）。

如下圖所示：

舉個例子，功能場景可以描述為，“自車（被測車）在當前車道運行，在自車前方有前車加速運行，自車跟隨前車行駛?！?邏輯場景則提煉出關(guān)鍵場景參數(shù)，并賦予場景參數(shù)特定的取值范圍，如以上描述的場景可提取自車車速、前車車速以及加速度、自車與前車距離等參數(shù)，每個參數(shù)都有一定的取值范圍和分布特性，參數(shù)之間可能還存在相關(guān)性。具體場景則需要選取特定的場景參數(shù)值，組成場景參數(shù)向量，并通過具體的場景語言表示。

這其實就是通常所說的“虛擬搭建/用算法生成的場景”，盡管對場景的理解仍來自于真實道路場景，但實踐中更多地是基于這種理解在軟件里面“人為地擬定”一個行駛軌跡、一組場景，因而，這種場景背后的數(shù)據(jù)也被稱為“合成數(shù)據(jù)”。

在實操中，這種思路面臨的主要挑戰(zhàn)是，仿真工程師對車輛的正常駕駛場景的理解是否足夠深。如果工程師不理解場景，任性地去“擬定”出一個場景，那當然是不能用的。

第二種思路是：采集自動駕駛車輛預定工作區(qū)域內(nèi)的交通流量數(shù)據(jù)，并將這些數(shù)據(jù)輸入交通仿真工具中產(chǎn)生交通流，并使用該交通流充當自動駕駛車輛的“周圍交通車輛”，實現(xiàn)測試場景的自動生成。

據(jù)深信科創(chuàng)創(chuàng)始人楊子江介紹，為確保能獲得比較準確的“真值”，通常，工程采集車上的傳感器配置要比普通的自動駕駛汽車高許多，如定位系統(tǒng)會采用20W以上的設備以及高線束的激光雷達，產(chǎn)生的數(shù)據(jù)會更加精確。

UberACT前首席科學家Raquel Urtasun創(chuàng)辦的仿真公司W(wǎng)aabi，據(jù)說無需激光雷達等高精度的傳感器，直接用攝像頭收集的數(shù)據(jù)來做仿真。

用真實道路數(shù)據(jù)做仿真，最大的優(yōu)勢是，場景的多樣性不會受限于工程師對場景的理解不足，因而，更容易將那些“誰也想不到”的未知場景給“打撈”出來。

此外，某自動駕駛公司仿真負責人說：為了提高仿真的真實度，后面大家就會盡可能地少采用合成數(shù)據(jù)，多采用真實道路數(shù)據(jù)。實際上現(xiàn)在的仿真已經(jīng)在往這個方向發(fā)展了——真實數(shù)據(jù)和模塊越來越多了。

不過，有一線仿真實踐的工程師們普遍反映，這一思路過于理想化。具體地說，用真實道路數(shù)據(jù)做仿真，存在如下幾點局限性——

1.數(shù)據(jù)需要做人工校核

實際上，傳感器采集到的數(shù)據(jù)并不能直接用于仿真——數(shù)據(jù)類型及格式需要轉(zhuǎn)換，有很多無效數(shù)據(jù)需要清洗，也要從中辨別出有效的場景，某些特定的要素需要進行標注，不同傳感器之間的數(shù)據(jù)需要實時同步和融合等等。

正常情況下，自動駕駛車輛的感知數(shù)據(jù)無需經(jīng)過人工校核，而是直接給到?jīng)Q策算法，但如果是做仿真，對感知數(shù)據(jù)的人工校核就是必不可少的步驟。

2.逆向過程的實現(xiàn)難度比正向過程大

某無人駕駛卡車公司仿真工程師說：用合成數(shù)據(jù)做仿真，是一個正向的過程，即你先知道自己需要去做哪些測試，然后再自己主動去設計這樣一個場景；用真實數(shù)據(jù)做仿真是一個逆向的過程，即你先遇到一個問題，然后再去解決這個問題。兩者相比較，后者的難度要大得多。

3.無法解決交互問題

復睿微電子負責人Jame Zhang在一次公開分享中提到，WorldSim（用虛擬數(shù)據(jù)做仿真）像在玩游戲，而LogoSim（用真實道路數(shù)據(jù)做仿真）則更像是電影，你只能看，沒法參與，因此，LogoSim天然沒法解決交互性的問題。

4.無法做閉環(huán)

復睿微電子負責人Jame Zhang還提到了這兩種仿真方法的另一個區(qū)別：使用真實道路數(shù)據(jù)做回放，能采集的片段永遠是有限的，經(jīng)常是，采集開始的時候，危險可能已經(jīng)發(fā)生了一段時間了，之前的數(shù)據(jù)你很難獲得了，但如果用虛擬數(shù)據(jù)（合成數(shù)據(jù)），就無需面對這個問題。

某主機廠的仿真負責人說：“上述專家表述的是采集的過程。的確，考慮到采集設備的容量以及有效場景的定義，采集打點的場景都是有長度的，一般都是功能觸發(fā)前后一段時間，尤其是觸發(fā)前的緩存不會特別長。另一方面，在數(shù)據(jù)采集后用來回灌的時候，則只能是功能觸發(fā)前的場景是有效的，而功能觸發(fā)后的真實場景卻是無效的?！?/p>

這位主機廠的專家說：真實道路數(shù)據(jù)用來訓練感知算法是可以的，但要測試整個算法鏈路的話，還是得依賴合成場景數(shù)據(jù)。

不過，這位主機廠的仿真主管最后也強調(diào)：“所謂的‘沒法實現(xiàn)閉環(huán)’也是相對的，已經(jīng)有供應商可以把采集到的場景里面的元素都完成參數(shù)化，這樣就可以閉環(huán)了，但這種設備的價格是非常昂貴的?！?/p>

5.數(shù)據(jù)的真實度仍然難以保障

用真實交通流數(shù)據(jù)做仿真，也被稱為“回灌”。

據(jù)深信科創(chuàng)創(chuàng)始人楊子江介紹，“回灌”需要用到核心技術(shù)有兩個：一個是在仿真環(huán)境中還原路采數(shù)據(jù)的路網(wǎng)結(jié)構(gòu)，二是將路采數(shù)據(jù)中的動態(tài)交通參與者（行人，車輛等）在不同坐標系下的位姿信息映射到仿真世界路網(wǎng)下的全局坐標系中。

這個過程中需要使用的工具有SUMO或openScenario——用于讀入交通參與者的位點信息。

某主機廠仿真專家說：“原始數(shù)據(jù)的回灌也不能保證百分之百真實，因為在將原始數(shù)據(jù)注入仿真平臺后，還得加上車輛動力學仿真。但如此一來，場景是否還與真實道路上的場景一致，就不好說了?！?/p>

究其原因，現(xiàn)有的交通流仿真軟件往往還存在如下幾大缺陷：

生成的交通流不夠保真，往往只支持車輛軌跡導入，而車輛間的雙向交互不夠真實；

仿真模塊（自車）和交通流模塊（其他道路參與者）之間的數(shù)據(jù)傳輸接口受限（如路網(wǎng)格式不同，需要路網(wǎng)匹配），第三方可操作性有限；

基于規(guī)則的交通流模型是面向交通效率評價的，可能會出現(xiàn)過于簡化的問題（往往采用一維模型，假設設立是沿著中心線行駛的，較少考慮橫向影響），難以滿足交互安全評價的需求。

某Tier 1的仿真工程師說，用真實交通流數(shù)據(jù)生成仿真場景，如何選擇交通流模型（比如跟馳模型、換道模型怎么定義）、如何定義交通流仿真模塊接口都是有相當難度的。同時，來自自車的數(shù)據(jù)和其他道路使用者的數(shù)據(jù)如何做好時間同步，也會是一個很大的問題。

6.數(shù)據(jù)的通用程度低、泛化難度大

智行眾維CEO安宏偉和CTO李月都特別提到了仿真數(shù)據(jù)的“通用性”問題。所謂數(shù)據(jù)通用性，即指車輛及場景的參數(shù)是可以調(diào)整的。比如，在數(shù)據(jù)是用一輛轎車去采集的，攝像頭的視角很低，但在變成仿真場景之后，攝像頭的的視角可以調(diào)高，這組數(shù)據(jù)可以用于卡車模型的測試。

如果場景是虛擬搭建/算法生成的，各參數(shù)可根據(jù)需要任意調(diào)整；那么，如果場景是基于真實道路數(shù)據(jù)的呢？

某工具鏈公司的仿真負責人說，在用真實道路數(shù)據(jù)做仿真的情況下，一旦傳感器的位置或者型號有變更，這一組數(shù)據(jù)的價值就降低，甚至會“作廢”。

輕舟智航的仿真專家說，也可以用神經(jīng)網(wǎng)絡對真實道路數(shù)據(jù)做調(diào)參，這種調(diào)參的智能化程度會更高一些，但可控性會比較弱。

用真實交通流數(shù)據(jù)做仿真，又稱為“回灌”，而回灌又可分兩種，直接回灌和模型回灌——

所謂“直接回灌”，是指對傳感器數(shù)據(jù)不做處理直接喂給算法，在這種模式下，車輛及場景的參數(shù)是不可調(diào)整的，用某款車型采的數(shù)據(jù)，就只能用于同款車型的仿真測試；

“模型回灌”，則是指先將場景數(shù)據(jù)抽象化、模型化，用一組數(shù)學公式將其表達出來，在這個數(shù)學公式里面，車輛及場景的參數(shù)都是可調(diào)的。

按李月的說法，直接回灌是無需用到數(shù)學模型的，“比較簡單，基本上，只要有大數(shù)據(jù)能力都能做到”，但在他們的模型回灌方案中，不管是傳感器模型還是車輛的行駛軌跡、車速，都是要通過數(shù)學公式來完成的。

模型回灌的技術(shù)門檻很高，成本也不低，一位仿真工程師說：“要把傳感器錄制的數(shù)據(jù)轉(zhuǎn)換成仿真數(shù)據(jù)，數(shù)據(jù)解析的過程非常難。因此，當前，這一技術(shù)主要停留在PR層面上。在實踐中，各家的仿真測試都是以算法生成的場景為主，以采自真實道路集的場景為補充。”

某自動駕駛公司仿真負責人說：用真實交通流的數(shù)據(jù)做仿真，目前還是很前沿的技術(shù)，這些數(shù)據(jù)的調(diào)參難度很大（僅可在一個很小的范圍內(nèi)調(diào)參）。因為路采的都是一堆日志、一條條的記錄，它記錄的是這個車第一秒第二秒怎么運行的，而不像人工編輯的一些場景是由一系列的公式組成的。

這位仿真專家說，模型回灌存在的最大挑戰(zhàn)是：在場景比較復雜的情況下，要將場景用公式表達的難度極高，這個過程是可以通過自動化的方式來實現(xiàn)的，但最終做出來的場景能不能用也是個問題。

Waymo在2020年公布了的“通過將傳感器收集到的數(shù)據(jù)直接生成逼真的圖像信息來做仿真”的ChauffeurNet，其實就是在云端用神經(jīng)網(wǎng)絡將原始道路數(shù)據(jù)轉(zhuǎn)換成數(shù)學模型，然后做模型回灌。但一位在硅谷多年的仿真專家說，這個還停留在試驗階段，距離成為真正的產(chǎn)品還有一段時間。

這位仿真專家說，比回灌更有意義的是引入機器學習或強化學習。具體地說，仿真系統(tǒng)在充分學習各類交通參與者行為習慣的基礎(chǔ)上訓練出一些自己的邏輯，并將這些邏輯公式化，然后，在這些公式中調(diào)參。

不過，智行眾維CTO李月和副總經(jīng)理馮宗磊的說法是，他們目前已經(jīng)能夠?qū)崿F(xiàn)模型回灌了。

馮宗磊認為，一個仿真公司是否具備做模型回灌的能力，這主要取決于他們所使用的工具及場景管理能力。

“場景管理中，切片是非常重要的一環(huán)——不是所有的數(shù)據(jù)都是有效的，比如，1小時的數(shù)據(jù)中，真正有效的可能只有不到5分鐘，在做場景管理的時候，仿真公司需要將有效的部分切出來，這個過程便被稱為‘切片’。

“切片完成后，仿真公司還需做一個相應的帶語義信息的管理環(huán)境（比如哪個是行人、哪個是十字路口），方便下次去篩選。具體地說，需要先對數(shù)據(jù)切片做分類，然后再做動態(tài)目標列表的精修，精修完之后再導入到仿真環(huán)境的模型里去，如此一來，模型就有相應的語義信息了。有了語義信息，就可以調(diào)參了，然后，數(shù)據(jù)就可以復用了。

“多數(shù)公司基于真實交通流的數(shù)據(jù)之所以不能調(diào)參，是因為他們沒有做好場景管理?！?/p>

深信科創(chuàng)創(chuàng)始人楊子江說：“如果要將路采數(shù)據(jù)泛化，并且要保持數(shù)據(jù)的真實性，可以在場景初始化以及開始階段回放路采數(shù)據(jù)，在某一時刻由smart-npc模型來接管道路中的背景車輛，使背景車輛不會按照路采數(shù)據(jù)運行。smart-npc接管后通過把泛化后的場景記錄下來，以做到泛化后的關(guān)鍵場景可回放?！?/p>

某主機廠的仿真工程師認為，模型回灌盡管聽上去“不明覺厲”，但實際上“必要性不大”。原因是：將數(shù)據(jù)模型化與回灌的初衷不符——回灌的初衷是想要真實的數(shù)據(jù)，但既然模型化了，參數(shù)可調(diào)了，就不是最真實的了；費時費力，數(shù)據(jù)格式轉(zhuǎn)換非常麻煩，費力不討好。

這位工程師說：“既然你想要更多場景，那直接用仿真器大規(guī)模生成泛化場景就行了啊，大可不必走真實數(shù)據(jù)模型化這條路?！?/p>

對此，馮宗磊的回應是：

“用算法直接生成場景，這在開發(fā)的早期當然是沒問題的，但局限性也很明顯——那些工程師們‘想不到’的場景怎么辦？真實的交通狀況千變?nèi)f化，你的想象力不可能窮舉所有。

“更關(guān)鍵的是，在工程師想象出的場景中，目標物之間的交互關(guān)系往往是不自然的。比如前方有車輛插入，它是以多大的角度插入？在距離你10米時還是5米時插入？在用算法生成場景的實踐中，場景參數(shù)的制定往往帶有非常的大主觀性、隨意性，工程師拍腦袋想出了一組參數(shù)注入模型，但這組參數(shù)是否具有代表性呢？”

馮宗磊認為，在無人駕駛還處于Demo階段時，靠算法生成的虛擬場景能滿足需求，但在前裝量產(chǎn)時代，基于大規(guī)模的自然駕駛數(shù)據(jù)（真實交通流數(shù)據(jù)）來做場景泛化，還是很有必要的。

據(jù)一位跟Momenta有過接觸的人士說：“Momenta已經(jīng)具備了用真實道路數(shù)據(jù)做場景泛化（調(diào)參）的能力，但他們的技術(shù)只給自己用，不對外?！?/p>

51 World車載仿真負責人鮑世強，認為，自然駕駛數(shù)據(jù)做泛化目前還比較前瞻，但未來肯定會成為很重要的方向，因此，他們也在探索。

總結(jié)：兩種路線相互滲透，界限越來越模糊

復睿微仿真負責人James Zhang在前段時間的一段分享中提到，特斯拉的仿真有兩種方法：場景完全虛擬（算法生成）的叫 WorldSim，將真實數(shù)據(jù)回放給算法看的叫LogSim，“但WorldSim中的路網(wǎng)也是在對來自真實道路的數(shù)據(jù)做自動標準的基礎(chǔ)上生成的，因此，WorldSim與LogSim的界限越來越模糊”。

輕舟智航的仿真專家說：“真實場景數(shù)據(jù)轉(zhuǎn)化為標準格式化數(shù)據(jù)后，可通過規(guī)則去進行赴泛化，從而產(chǎn)生更有價值的仿真場景。”

51 World 車載仿真業(yè)務負責人鮑世強也認為，未來的趨勢是，用真實道路數(shù)據(jù)做仿真和用算法生成的數(shù)據(jù)做仿真這兩種路線會相互滲透。

鮑世強說：“一方面，用算法生成場景，也依賴于工程師對真實道路場景的理解，對真實場景的理解越透徹，建模就越能接近真實。另一方面，用真實道路數(shù)據(jù)做場景，也需要對數(shù)據(jù)做切片、提?。▽⒂行Р糠趾Y選出來），再設定參數(shù)、觸發(fā)規(guī)則，再做精細化的分類，然后可以將它們邏輯化、公式化?！?/p>

二．場景泛化與場景提取

上面幾段反復提到的對場景數(shù)據(jù)做“調(diào)參”，又被稱為“場景泛化”——通常主要指對虛擬搭建的場景做泛化。用某主機廠系統(tǒng)工程師的話說，場景泛化的優(yōu)勢是，我們可以“憑空造”一些現(xiàn)實世界當中從來都沒有過的場景。

一個仿真公司的場景泛化能力越強，對某個場景調(diào)參后得到的可用場景的數(shù)量就越多，因此，場景泛化能力也是仿真公司的一項關(guān)鍵競爭力。

不過，輕舟智航的算法專家說，場景泛化可以通過數(shù)學模型、機器學習等方法去實現(xiàn)，但關(guān)鍵的問題是如何保證泛化的場景是真實、而且更加有價值。

決定一個公司的場景泛化能力強或者弱的關(guān)鍵要素有哪些？

深信科創(chuàng)創(chuàng)始人楊子江認為，場景泛化中有一個很大的難點是，如何將軌跡抽象為更高級別的語義，用一形式化的描述語言來表達。

某Tier 1仿真工程師說：主要看該公司所采用的仿真工具是用什么語言（比如openscenario）來描述不同的交通場景的，這門語言對交通環(huán)境中各個層次的定義是否合理（可表示需要的細節(jié)，同時又具備可拓展性）。

針對功能場景、邏輯場景以及具體場景都有相應的場景語言：如針對前兩者，有M-SDL等高級場景語言；針對后者有OpenSCENARIO、GeoScenario等。

還有一個層面可能是對干擾行為的仿真，對各種駕駛行為、駕駛“性格”的泛化程度。

△圖表摘自孫劍、田野、余榮杰所著《自動駕駛虛擬仿真測試評價理論與方法》一書

深信科技創(chuàng)始人楊子江說：“基于交通流的泛化和駕駛員的智能化，如果模型足夠好，由于隨機因子的存在，場景運行10次，就相當于泛化了10個?！?/p>

不過，智行眾維CTO李月認為，不能為了泛化而泛化?！拔覀円欢ㄒ獙Ρ粶y的功能有深刻的理解，然后再去設計泛化方案，而不是為了泛化而泛化，更不能漫無邊際地去泛化。場景泛化雖然是虛擬，但也要尊重現(xiàn)實?！?/p>

另外一位仿真專家也說：“說到底，仿真還是要為測試服務的，我們是已經(jīng)在路上遇到了一個問題，然后看如何通過仿真解決，而不是說我先有了一個仿真的技術(shù)，然后看用在什么問題上吧？”

前文提到的一位仿真專家稱，據(jù)他了解，目前還沒有多少公司能真正做到場景泛化的自化，在大多數(shù)情況下，調(diào)參都是靠人工來完成的。“場景泛化能力，盡管很重要，但現(xiàn)階段，還沒有哪個公司真能做得很好。”

51 World車載仿真業(yè)務負責人鮑世強認為，做場景泛化，最重要的是要對自動駕駛仿真測試需要什么樣的場景有一個深刻的理解。事實上，現(xiàn)在的問題不是生成的場景太少，實在是太多，而且有很多并不會真實發(fā)生，算不上有效的測試場景，這就是對需求理解不到位造成的。

有專家稱，第三方仿真公司面臨的最大挑戰(zhàn)是，由于自己并沒有親自上陣做自動駕駛，因而對自動駕駛究竟需要什么樣的仿真理解是不足的。

而那些有能力、對仿真需求理解比較深入的L4級自動駕駛公司，其實并沒有足夠的動力把場景泛化做得非常深入。因為，Robotaxi通常只在某個城市的一個很小的區(qū)域里跑，他們只要采集這一個區(qū)域的場景數(shù)據(jù)做訓練和測試就行了，沒有太大的必要去泛化出很多他們在相當長一段時間內(nèi)都不會接觸的場景。

鮑世強認為，蔚小理這些主機廠，真實道路數(shù)據(jù)比較多，對場景泛化也沒有太強的需求。相反，對這些公司來說，比場景泛化更迫切的，是對場景做精細化分類管理，篩選出真正有效的場景。

輕舟智航的仿真專家也認為，隨著車隊規(guī)模的增加、來自真實道路的數(shù)據(jù)規(guī)模急劇膨脹，對仿真公司來說，如何充分挖掘出這些數(shù)據(jù)中的有效場景確實比做場景泛化重要得多?！拔覀円苍S會探索出智能化程度更高的泛化手段，能更快地對算法做大規(guī)模驗證?！?/p>

楊子江說：“針對參數(shù)層面的泛化，例如車道數(shù)量、交通參與者的種類數(shù)量、天氣，以及速度、TTC等關(guān)鍵參數(shù)，各家產(chǎn)生泛化場景的能力都差不多，但場景泛化能力的核心在于如何識別有效場景，過濾無效場景（包括重復的、不合理的）；而場景識別的難點在于，復雜場景需要識別多個對象之間相互關(guān)系?！?/p>

上述幾位提到的“識別有效場景，過濾無效場景”，又被稱為“場景提取”。

場景提取的前提是，先搞清楚究竟什么是“有效場景”。據(jù)幾位仿真專家介紹，除法律規(guī)定應當測試的場景外，有效場景還包括如下兩類：做系統(tǒng)正向設計時，工程師根據(jù)算法的開發(fā)需求定義的場景；測試中被挖掘出的那些“算法搞不定”的場景。

當然，有效和無效都是相對的，這跟公司的發(fā)展階段、算法的成熟階段有關(guān)——原則上，隨著算法的成熟、問題的解決，很多原來的有效場景都會成為無效場景。

那大家是如何高效地篩選出有效場景的？

學術(shù)界有一種設想是：在感知算法里面設定一些熵值，當場景的復雜度超過了這些值，感知算法就把改場景標記為一個有效的場景。但這個熵值怎么設，存在很大挑戰(zhàn)。

某仿真公司采用的是“排除法”，即如果一個原本表現(xiàn)非常好的算法在某一些泛化場景中“問題頻發(fā)”，那這個場景大概率就是“無效場景”，可以排除了。

某主機廠的系統(tǒng)工程師說：“目前還沒有很好的做場景篩選的方法。如果吃不準，那就放到云仿真上去算，總歸是能算出來這些極限場景，然后再拿這些極限條件在自己的HIL臺架上或者VIL臺架上做驗證，那么效率就會高很多”。

審核編輯 ：李倩