無論是在正式還是非正式討論中，恩智浦員工經(jīng)常會(huì)談及功能安全和信息安全的相互作用。如果再涉及汽車和人工智能，這個(gè)話題可能會(huì)變得更加復(fù)雜。

在去年的博文《未來挑戰(zhàn)：如何確保人工智能的安全》中，我們提到，恩智浦正在為安全的AI奠定堅(jiān)實(shí)的基礎(chǔ)，例如恩智浦有關(guān)算法道德和Auto eIQ的白皮書。

在尋求功能安全和信息安全的汽車AI方面，我們不是在孤軍奮戰(zhàn)。在德國，德國聯(lián)邦信息安全辦公室 （BSI） 和采埃孚 （ZF） 攜手德國認(rèn)證機(jī)構(gòu)漢德集團(tuán) （TUV Nord），正合力探索如何在汽車上測試AI。德國人工智能研究中心 （DFKI） 和TUV SUD也在研究AI系統(tǒng)的汽車性能測試。

雖然尚不清楚這些測試的具體要求，但我們將在現(xiàn)有的基礎(chǔ)上再接再厲。

未來汽車如何利用機(jī)器學(xué)習(xí)和人工智能

在推理方面，我們相信未來汽車將利用AI和機(jī)器學(xué)習(xí)來提供安全相關(guān)的功能。正因如此，我們與ANITI和ONERA合作，研究基于AI的系統(tǒng)中隨機(jī)硬件故障的影響。這項(xiàng)工作在功能安全標(biāo)準(zhǔn)（如ISO 26262）確立的先進(jìn)水平之上，因?yàn)檫@些標(biāo)準(zhǔn)明確將機(jī)器學(xué)習(xí)排除在外。

功能安全框圖

本次合作的一個(gè)重點(diǎn)領(lǐng)域就是故障注入。故障注入技術(shù)可用于以下3個(gè)目的：

1

驗(yàn)證安全機(jī)制的有效性

2

證明特定設(shè)計(jì)對隨機(jī)硬件故障的穩(wěn)健性

3

在現(xiàn)場驗(yàn)證設(shè)備能夠檢測出可預(yù)見的故障

確定邊緣隨機(jī)硬件故障的影響與機(jī)器學(xué)習(xí)模型之間的聯(lián)系，這是在現(xiàn)實(shí)世界中構(gòu)建信任所必需的關(guān)鍵一環(huán)。如果沒有構(gòu)建信任，我們就無法使用機(jī)器學(xué)習(xí)和AI來實(shí)現(xiàn)自動(dòng)駕駛汽車所需的安全相關(guān)功能。

如何利用功能安全構(gòu)建信任？

就構(gòu)建信任而言，我們知道，不久后的將來，在運(yùn)行人工智能安全功能的汽車中，完全按照機(jī)器學(xué)習(xí)模型運(yùn)行不足以保障駕乘人員的安全。在這種情況下，硬件本身的重要性轉(zhuǎn)移到了模型的質(zhì)量。

評(píng)估與模型的平均性能有關(guān)的指標(biāo)是常見做法。而典型的方法是用準(zhǔn)確率來定義正確分類的比率。在目標(biāo)檢測中 （雷達(dá)的必備功能），通常選擇以mAP為指標(biāo)。除了目標(biāo)的正確分類，mAP還涵蓋了衍生邊界框的質(zhì)量。

觀看恩智浦半導(dǎo)體

汽車4D成像雷達(dá)演示

但是，我們認(rèn)為要構(gòu)建對模型的信任，這還不夠。這些指標(biāo)可能僅因?yàn)闄z測目標(biāo)的形狀較為罕見，便無法區(qū)分奇怪的錯(cuò)誤與可以理解的人為失誤。

此外，如果出現(xiàn)奇怪的錯(cuò)誤，需要了解造成錯(cuò)誤的原因才能加以解決。即使預(yù)測是正確的，它也可能基于不正確的偏見，而這是人們希望避免的。

如何理解AI算法？

為了解決這些問題，我們需要采用適當(dāng)?shù)姆椒ù蜷_AI算法的“黑匣子”，讓人類能夠理解這些預(yù)測。Grad-CAM就是這種神經(jīng)網(wǎng)絡(luò)方法的一個(gè)有趣的例子。Ramprasaath R.Selvaraju等人于2019年發(fā)表了一篇論文，其中解釋了如何將特征圖與其梯度相乘，以此確定輸入的哪些部分對模型的預(yù)測最重要。這為用戶提供了一個(gè)非常有價(jià)值的工具，可以更好地了解模型學(xué)到了什么，進(jìn)而得出預(yù)測。

這也會(huì)增加人們對模型的信任，并有助于開發(fā)人員發(fā)現(xiàn)在訓(xùn)練集中發(fā)現(xiàn)模型缺點(diǎn)，然后加以解決。

作者給出了一個(gè)示例，人們訓(xùn)練了兩種模型分別用來識(shí)別醫(yī)生和護(hù)士。Grad-CAM提供了一個(gè)覆蓋圖（類似于熱圖），告訴人們使用圖片的哪些部分來做出判斷。在第一個(gè)模型（“有偏見”）中，模型使用面部特征來識(shí)別。這是我們不希望看到的情況，鑒于訓(xùn)練集存在偏見（女護(hù)士照片和男醫(yī)生照片較多），模型可能會(huì)判斷照片中是“護(hù)士”。經(jīng)過分析和再訓(xùn)練后，第二個(gè)模型可根據(jù)其他要素做出決策。Grad-CAM用于驗(yàn)證是否需要這些要素（如聽診器）。

這個(gè)例子可以很容易地推算至與安全相關(guān)的功能。在駕駛員監(jiān)測系統(tǒng)檢測的情況下，Grad-CAM可以確保駕駛員疲勞標(biāo)記的訓(xùn)練無偏見。

恩智浦繼續(xù)投資打造功能安全和信息安全的AI解決方案。通過構(gòu)建對訓(xùn)練數(shù)據(jù)的信任，確保ML模型的完美執(zhí)行（即使是在隨機(jī)硬件故障的情況下），恩智浦致力于朝著光明、安全的未來前行。

原文標(biāo)題：汽車AI的功能安全和信息安全：新課題需要新解法！

文章出處：【微信公眾號(hào)：NXP客?！繗g迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。