傳感器仿真模型的可信度評估方案

一、引言

由于仿真是對真實世界進(jìn)行抽象建模并通過編程實現(xiàn)，仿真得到的計算結(jié)果與真實仿真對象的表現(xiàn)存在差異，因此模擬仿真測試的可信度成為當(dāng)前亟需解決的關(guān)鍵問題，需要提出有效的評估方法。傳感器建模是仿真測試的關(guān)鍵環(huán)節(jié)之一，其建模質(zhì)量決定了仿真測試中智能網(wǎng)聯(lián)汽車感知環(huán)境目標(biāo)對象的保真度。延續(xù)《自動駕駛傳感器仿真模型的可信度研究》的思路，本篇文章對傳感器模型的可信度評估方法進(jìn)行深入研究，并且提出基于“典型場景-感知目標(biāo)集-評價指標(biāo)”的方法論，為企業(yè)開展傳感器模型可信度評估工作提供參考。

二、可信度評估框架及方法

本章節(jié)的思路主要可分為兩部分：一方面，根據(jù)不同建模層級的傳感器模型，采用不同的評估方法；另一方面，根據(jù)不同的評估方法，基于ADS功能確定典型場景、觀測量并選取相應(yīng)的評價指標(biāo)。

2.1評估框架：三個層級

根據(jù)對真實世界感知結(jié)果的保真度以及傳感器建模的復(fù)雜程度，傳感器模型可分為理想傳感器、混合傳感器、物理傳感器三個層級?；趥鞲衅鞯牟煌蛹壏诸愐约皞鞲衅鞣抡娼Ｔu價研究，可信度評估框架如圖1所示。

圖1傳感器模型可信度評估框架

理想傳感器：理想傳感器的工作方式為直接從仿真軟件的環(huán)境數(shù)據(jù)中提取探測范圍內(nèi)的環(huán)境真值（Ground Truth，GT），并將其作為傳感器感知目標(biāo)的檢測結(jié)果。若將理想傳感器的感知結(jié)果與真實傳感器的檢測結(jié)果作為真值進(jìn)行對比，理想傳感器感知結(jié)果存在過精度（精度過高的情況）；若將理想傳感器的輸出結(jié)果直接與環(huán)境真值進(jìn)行對比，由于其結(jié)果即為環(huán)境真值，則無需進(jìn)行可信度評估。

混合傳感器：在理想傳感器的基礎(chǔ)上，考慮噪聲和目標(biāo)物屬性等因素，在理想待輸出對象的數(shù)據(jù)信息中增加誤差信號。由于疊加的誤差參數(shù)可能不夠準(zhǔn)確且不夠全面，混合傳感器在輸出目標(biāo)列表時可能存在與真實傳感器輸出目標(biāo)列表不一致的問題。因此，需通過對比修正后的目標(biāo)列表，開展傳感器模型的可信度評估。

物理傳感器：對傳感器工作鏈路進(jìn)行物理級建模，建模過程中考慮傳感器與目標(biāo)物特性對信號產(chǎn)生的干擾與影響，以此間接獲得傳感器感知結(jié)果的偏差。由于該層級建模過程存在中間建模環(huán)節(jié)和中間量采集，因此，為更全面評估可信度，除在目標(biāo)列表層級展開評估外，還應(yīng)盡可能通過對比圖像、點云等原始數(shù)據(jù)，或各模塊輸出的中間量，來對傳感器模型的可信度進(jìn)行評估。

2.2評估方法

基于“典型場景-感知目標(biāo)集-評價指標(biāo)”的評估方法，主要通過典型場景設(shè)計，確定感知目標(biāo)及其觀測量并選取評價指標(biāo)，進(jìn)行傳感器模型與真實傳感器輸出結(jié)果的比對。

圖2 傳感器模型可信度評估流程

2.2.1典型場景

基于自動駕駛感知功能及其設(shè)計運行域，確定場景元素，構(gòu)建典型場景。考慮到不同測試場景中，場景元素的復(fù)雜程度會對感知結(jié)果產(chǎn)生影響，進(jìn)而影響傳感器模型可信度的評估結(jié)果，賽目科技提出“簡單場景→復(fù)雜場景”的典型場景設(shè)計框架，如圖3所示。

圖3 典型場景設(shè)計框架

參考GB/T《智能網(wǎng)聯(lián)汽車 自動駕駛系統(tǒng)設(shè)計運行條件》[1]，基于ODD基礎(chǔ)元素集合，通過組合疊加不同類型的場景元素（包括道路、道路設(shè)施、目標(biāo)物和天氣環(huán)境），構(gòu)建典型測試場景。典型場景中的感知目標(biāo)應(yīng)全面覆蓋自動駕駛功能ODD范圍內(nèi)的各類要素。感知測試場景元素部分示例如圖4所示。

圖4 場景基礎(chǔ)元素-示例

2.2.2感知目標(biāo)集

基于測試場景中常見的感知目標(biāo)種類，可進(jìn)一步區(qū)分其對應(yīng)的目標(biāo)ID、顏色、位置、速度、加速度等屬性，梳理出場景中涉及的感知目標(biāo)集（如圖5所示），其中①為目標(biāo)類型，②~⑦為觀測量。更多感知測試項內(nèi)容還可參考T/CSAE 266.1—2022《智能網(wǎng)聯(lián)汽車 輔助駕駛前向視覺感知性能要求及測評方法 第1部分：通用方法及指標(biāo)定義》[2]。

圖5 感知目標(biāo)類型及觀測量

基于典型場景的特點并結(jié)合不同類型的傳感器，確定場景中需識別的目標(biāo)對象，并選取對應(yīng)的目標(biāo)列表/原始數(shù)據(jù)觀測量。以相機模型為例，在目標(biāo)列表層面，將真實相機與仿真模型輸出的車道線三次方程進(jìn)行對比；在原始數(shù)據(jù)層面，利用真實鏡頭效果的圖片和仿真鏡頭效果的圖片進(jìn)行對比，統(tǒng)計每個像素點的對應(yīng)的RGB數(shù)值，以此來實現(xiàn)對圖像質(zhì)量的驗證。

圖6 “傳感器類型-目標(biāo)列表/原始數(shù)據(jù)”觀測量

特別地，若針對相機傳感器進(jìn)行物理級建模，還可通過對比模型輸出的中間量開展評估。

圖7相機傳感器物理級建?？蚣?/p>

2.2.3評價指標(biāo)

根據(jù)感知系統(tǒng)觀測量在整個測試過程的試驗結(jié)果計算各評價指標(biāo)，主要可分為以下兩種類型。① 目標(biāo)識別正確與否的判斷：通過準(zhǔn)確率、精確率、召回率、Jaccard系數(shù)等指標(biāo)來進(jìn)行評價，并利用這些指標(biāo)計算出綜合的誤差進(jìn)行比較，②觀測量為連續(xù)型數(shù)據(jù)：通過數(shù)值精度、擬合優(yōu)度等指標(biāo)進(jìn)行評價。感知目標(biāo)集中觀測量類別對應(yīng)的評價指標(biāo)[3]如表1所示。

表1 觀測量類別-評價指標(biāo)

（1）準(zhǔn)確率-Accuracy

指預(yù)測正確的結(jié)果占總樣本的百分比，用于判斷總的正確率，準(zhǔn)確率的計算方法如公式（1）所示。

（2）精確率-Precision

所有被預(yù)測為正的樣本中實際為正的樣本的概率。精確率和準(zhǔn)確率看上去有些類似，但是完全不同的兩個概念。精確率代表對正樣本結(jié)果中的預(yù)測準(zhǔn)確程度，而準(zhǔn)確率則代表整體的預(yù)測準(zhǔn)確程度，既包括正樣本，也包括負(fù)樣本。精確率的計算方法如公式（2）所示。

（3）召回率-Recall

實際為正的樣本中被預(yù)測為正樣本的概率，又稱查全率。召回率的計算方法如公式（3）所示。

（4）F1分?jǐn)?shù)-F1 score

精確率和召回率的調(diào)和平均數(shù)。F1分?jǐn)?shù)的最大值是1，最小值是0，值越大意味著模型的性能越好。F1分?jǐn)?shù)可以看作是模型精確率和召回率的一種調(diào)和平均，它的計算考慮了精確率和召回率的重要性。F1分?jǐn)?shù)的計算方法如公式（4）所示。

（5）Jaccard系數(shù)

用于度量兩個集合的相似度，僅關(guān)心個體間共同具有的特征是否一致。Jaccard系數(shù)的取值范圍在0到1之間，值越大表示兩個集合越相似，值為0表示兩個集合沒有任何交集，值為1表示兩個集合完全相同。Jaccard系數(shù)的計算方法如公式（5）所示。

其中：

——集合A與B的交集中元素的個數(shù)；

——集合A與B的并集中元素的個數(shù)。

（6）多目標(biāo)識別準(zhǔn)確度（MOTA）

用于統(tǒng)計在識別過程中的誤差積累情況，包括誤檢數(shù)FP、漏檢數(shù)FN、誤配數(shù)IDSW以及真實結(jié)果GT。多目標(biāo)識別準(zhǔn)確率的計算方法如公式（6）所示。

其中：

FN ——在第i幀中該目標(biāo)沒有假設(shè)位置與其匹配；

FP ——在第i幀中給出的假設(shè)位置沒有跟蹤目標(biāo)與其匹配；

IDSW——在第i幀中跟蹤目標(biāo)發(fā)生ID切換的次數(shù)（多發(fā)生在遮擋情況下）。

（7）多目標(biāo)識別精確度（MOTP）

用于衡量目標(biāo)位置確定的精確程度，包括正檢數(shù)TP、預(yù)測結(jié)果DUT和真實結(jié)果GT。多目標(biāo)識別精確度的計算方法如公式（7）所示。

其中：TP——在第i幀中該目標(biāo)有假設(shè)位置與其匹配，即第i幀目標(biāo)與假設(shè)的匹配個數(shù)。

（8）數(shù)值精度（Meanaccuracy）

用于表示觀測值與真值的接近程度，是預(yù)測結(jié)果與被測真值之間的百分比誤差，包括預(yù)測結(jié)果DUT和真實結(jié)果GT。數(shù)值精度的計算方法如公式（8）所示。

（9）擬合優(yōu)度（）

回歸分析中用來檢驗樣本數(shù)據(jù)點聚集在回歸線周圍的密集程度，用于評價回歸方程對樣本觀測值的擬合程度。的值越接近1，說明模型對觀測值的擬合程度越好。擬合優(yōu)度計算方法如公式（9）所示。

其中：

——樣本目標(biāo)變量的真實值；

——使用回歸模型預(yù)測的目標(biāo)變量值；

?——樣本目標(biāo)變量的平均值。

（10）歐幾里得度量（Euclidean Metric）

基于真實點云中每個點到模擬點云每個點的最小歐幾里得距離進(jìn)行計算，真實的點云用GT＝（）表示，模擬的點云用DUT＝（）表示，最小歐幾里得距離的計算方法如公式（10）所示。

其中：

——點云距離度量；

——真實或模擬點云的最大點數(shù)。

3.可信評估方案應(yīng)用

本章節(jié)主要針對目標(biāo)列表層面對應(yīng)典型場景的可信度評估方案進(jìn)行應(yīng)用示例。根據(jù)自動駕駛系統(tǒng)感知功能設(shè)計典型場景，確定關(guān)鍵參數(shù)取值（如道路類型、車道線顏色、測試車輛初始速度等），并明確場景中的感知目標(biāo)。以自適應(yīng)巡航控制系統(tǒng)（ACC）功能為例，基于2.3.1中的“簡單場景→復(fù)雜場景”設(shè)計理論，列舉典型場景示例如表2所示。

表2典型測試場景-示例

（1）場景構(gòu)建

為驗證傳感器模型可信度，初步構(gòu)建一個“前方存在靜止目標(biāo)車”的簡單場景開展對比試驗。

場景描述：一條雙向四車道長直道路，車道寬度為3 m。試驗車輛同車道前方79.86 m處存在靜止的目標(biāo)車輛，試驗車輛以初始速度36 km/h從初始位置出發(fā)，按照預(yù)設(shè)軌跡路線行駛3 s后，以1.1 m/s2的減速度減速至停止。

圖8 仿真場景搭建

（2）感知目標(biāo)-觀測量

基于上述測試場景，確定場景中需識別的目標(biāo)對象為車道線和目標(biāo)車輛，基于不同傳感器種類，選取對應(yīng)的觀測量分別為三次多項式常數(shù)項和目標(biāo)車輛相對距離。

（3）評價指標(biāo)

本文初步采用數(shù)值精度的評價指標(biāo)，通過公式（8）進(jìn)行混合傳感器模型的可信度評估。

基于Sim Pro中混合相機傳感器模型開展驗證，輸出的車道線三次多項式的常數(shù)項（左正右負(fù)）與路采數(shù)據(jù)的對比結(jié)果如圖9所示。

圖9混合相機-仿真與路采結(jié)果對比（車道線）

基于Sim Pro中混合相機傳感器模型、混合毫米波雷達(dá)傳感器模型、混合激光雷達(dá)傳感器模型開展驗證，輸出的目標(biāo)車輛相對距離與路采數(shù)據(jù)的對比結(jié)果如圖10所示。

圖10混合傳感器-仿真與路采結(jié)果對比（目標(biāo)車輛相對距離）

小結(jié)

本篇文章基于三種傳感器建模層級的評估框架進(jìn)行分析，對傳感器模型的可信度評估提出“典型場景-感知目標(biāo)集-評價指標(biāo)”的方法論，分別論述典型場景構(gòu)建、感知目標(biāo)集確定以及對應(yīng)評價指標(biāo)選取的思路。最后，基于傳感器模型可信度評估方案，以混合傳感器模型為例進(jìn)行應(yīng)用對比驗證。未來，賽目科技還將從智能網(wǎng)聯(lián)汽車“三支柱”測試方法論知識體系持續(xù)開展研究，敬請期待！