人工智能的能力我們已經(jīng)耳熟能詳，但它的弱點是什么、它的局限是什么才是我們需要關(guān)注的重點。例如，無人駕駛汽車在真實路況中會遇到很多在訓(xùn)練中從未見過的場景，如何處理這種實際與訓(xùn)練不匹配的特殊情形成為了橫在研究人員面前的一大難題。

近日，MIT和微軟的研究人員開發(fā)出一種用于識別智能系統(tǒng)的新模型，特別是自動駕駛系統(tǒng)在訓(xùn)練中學(xué)習(xí)到的、但是與實際情形不匹配的知識“盲點”，工程師們可利用這一模型識別并改進自動駕駛系統(tǒng)處理特殊情況的措施，提高整個系統(tǒng)的安全性。

無人駕駛汽車的人工智能系統(tǒng)在虛擬仿真環(huán)境和數(shù)據(jù)集中接受了廣泛的訓(xùn)練，以便應(yīng)對道路上可能發(fā)生的每一種狀況。但是有時候汽車在現(xiàn)實世界中會犯下意想不到的錯誤，因為對于有些突發(fā)事件，汽車應(yīng)該但卻沒有做出正確的應(yīng)對。

如果有一輛未經(jīng)特殊訓(xùn)練的無人車，在通常的數(shù)據(jù)集上進行訓(xùn)練后可能無法區(qū)分白色的箱式小貨車和閃著警報呼嘯而至的救護車。當(dāng)它在公路上行駛時救護車鳴笛經(jīng)過，由于它無法識別出救護車這個特殊的訓(xùn)練集中缺乏的車型（訓(xùn)練集中一般會標(biāo)注小貨車），它無法知曉此時需要減速和靠邊禮讓，而這樣的無人車在路上行駛時就帶來一系列無法預(yù)知的交通狀況。同樣的情形還會出現(xiàn)在與警車、消防車甚至校車同行的路段中。特備對于外賣快遞飛馳的電動車、忽左忽右的自行車、隨處沖出的行人，無人駕駛系統(tǒng)更是無法處理如此復(fù)雜的路況！

為了解決這一問題，研究人員提出了新的訓(xùn)練手段來對無人系統(tǒng)進行更深入的訓(xùn)練和改進。首先研究人員利用先前的方法通過模擬訓(xùn)練建立了人工智能系統(tǒng)。但當(dāng)系統(tǒng)在現(xiàn)實世界中運行時，會有人密切監(jiān)視該系統(tǒng)的行為，當(dāng)系統(tǒng)犯下或?qū)⒁赶氯魏五e誤時，人類會及時介入為系統(tǒng)提供人類的反饋意見。隨后研究人員將訓(xùn)練數(shù)據(jù)和人類反饋數(shù)據(jù)結(jié)合起來，并使用機器學(xué)習(xí)技術(shù)來生成異常/盲點識別模型，該模型能夠準(zhǔn)確地指出該系統(tǒng)在哪些地方需要人類介入以便獲取更多的信息，從而來引導(dǎo)正確行為。

研究人員通過視頻游戲驗證了這種方法，他們通過模擬讓人類糾正了視頻中人物的學(xué)習(xí)路徑。下一步是將該模型與傳統(tǒng)的訓(xùn)練和測試方法結(jié)合起來，以便訓(xùn)練那些需要人類反饋意見的自動學(xué)習(xí)系統(tǒng)，比如自動駕駛汽車和機器人。這個模型有助于自動系統(tǒng)更好地了解它們不知道的東西，很多時候?qū)ο到y(tǒng)進行訓(xùn)練時，它們接受的模擬訓(xùn)練與現(xiàn)實世界發(fā)生的事件并不相符，而且系統(tǒng)可能犯錯，發(fā)生意外事故。這個模型可以用安全的方式以人類行為來彌補模擬和現(xiàn)實世界之間的差距。

一些傳統(tǒng)的訓(xùn)練方法確實在真實世界的測試中提供了人類反饋，但是僅僅是為了更新系統(tǒng)的行為動作。這些方法不能識別人工智能系統(tǒng)的盲點。而這種新提出的模型首先將人工智能系統(tǒng)置于模擬訓(xùn)練中，人工智能系統(tǒng)將產(chǎn)生一些“策略”，將每種情況都映射到它在模擬中能采取的最佳行動。然后該系統(tǒng)將被設(shè)置到現(xiàn)實世界中，當(dāng)系統(tǒng)行為錯誤時人類將發(fā)出提醒信號。

人類可以通過多種方式提供數(shù)據(jù)，例如通過“演示”和“修正”。在演示中，人類像在現(xiàn)實世界中那樣行動，系統(tǒng)對其進行觀察，并將人類的行為和在這種情況下系統(tǒng)將采取的行為進行比較。以無人駕駛汽車為例，如果汽車的計劃路線偏離了人類的意愿，人類會手動控制汽車，這時系統(tǒng)就會發(fā)出信號。通過觀察人類行為相符或不相符的行為，為系統(tǒng)指出了哪些行為是可接受的，哪些行為是不可接受的。

同時人類還可以對系統(tǒng)進行修正，當(dāng)系統(tǒng)在現(xiàn)實世界中工作時，人類可以對其進行監(jiān)控。司機可以坐在駕駛座上，而自動駕駛汽車則沿著計劃的路線行駛。如果汽車的行駛是正確的，人類不進行干預(yù)。如果汽車的行駛不正確，人類可能會重新控制車輛，這時系統(tǒng)就會發(fā)出信號，表明在這種特定情況下汽車采取了不當(dāng)?shù)男袨椤?/p>

一旦匯集了來自人類的反饋數(shù)據(jù)，系統(tǒng)就能構(gòu)建出一個各類情況數(shù)據(jù)庫。單個情況可以接收許多不同的信號，也就是說每種狀況可能有多個標(biāo)簽表示該行為是可接受的和不可接受的。例如，一輛自動駕駛汽車可能已經(jīng)在一輛大車旁邊開過了許多次而且沒有減速和停車，這是被認可的。但是某次對系統(tǒng)來說和大車完全一樣的救護車駛來時，自動駕駛汽車也沒有減速或者做出規(guī)避動作，此時它就會收到一個反饋信號：系統(tǒng)的行為不恰當(dāng)。

此刻，該系統(tǒng)已經(jīng)從人類那里得到了多個相互矛盾的信號：有時它從大車旁邊不減速開過去，是可以的；而在相同情況下，只是大車換成了救護車，不減速開過去就不對。這時系統(tǒng)就會注意到它錯了，但是它還不知道為什么錯，在收集了所有這些看起來相互矛盾的信號后，下一步就是整合信息并提出問題：當(dāng)收到這些混合信號時，犯下錯誤的可能性有多大。

這一新模型的最終目標(biāo)是將這些模棱兩可的情況標(biāo)記為盲點。但這不僅僅是簡單地計算每種情況下出現(xiàn)的可接受行為和不可接受行為的次數(shù)。例如如果該系統(tǒng)遇到救護車時十次中有九次采取正確的行動，就會將這種情況標(biāo)記為非盲點。但由于不恰當(dāng)行為遠比恰當(dāng)行為出現(xiàn)的次數(shù)少，系統(tǒng)最終會學(xué)會預(yù)測所有的情況都不是盲點，這對于實際系統(tǒng)來說是極其危險的。

為此研究人員使用一種通常用于眾包數(shù)據(jù)處理標(biāo)簽噪聲的Dawid - Skene機器學(xué)習(xí)方法來解決這一問題。該算法將各類情況匯總數(shù)據(jù)庫作為輸入，每個情況都有“可接受”和“不可接受”的一對噪音標(biāo)簽。然后它聚集所有數(shù)據(jù)，并使用一些概率計算方法來識別預(yù)測盲點標(biāo)簽?zāi)Ｊ胶皖A(yù)測非盲點標(biāo)簽?zāi)Ｊ?。使用這些信息它會為每種情況輸出一個整合的“非盲點”或“盲點”標(biāo)簽以及該標(biāo)簽的置信度。值得注意的是，即使在90%的情況下做出了可接受行為，該算法也可以通過學(xué)習(xí)把罕見的不可接受情況認作盲點。最后該算法將生成了“熱圖”，系統(tǒng)在原始訓(xùn)練中經(jīng)歷的每種訓(xùn)練情況都被按照從低到高的盲點概率進行排布。

當(dāng)系統(tǒng)被應(yīng)用到現(xiàn)實世界中時，它可以利用該學(xué)習(xí)模型來更加謹慎和智能地行動。如果學(xué)習(xí)模型預(yù)測某種狀態(tài)是高概率的盲點，系統(tǒng)就可以咨詢?nèi)祟悜?yīng)該如何應(yīng)對，從而更安全的行動。