機(jī)器學(xué)習(xí)模型在實(shí)驗(yàn)室中調(diào)整和調(diào)整到近乎完美的性能，但在現(xiàn)實(shí)環(huán)境中往往會(huì)失敗，這已經(jīng)不是什么秘密了。這通常被歸結(jié)為人工智能接受訓(xùn)練和測(cè)試的數(shù)據(jù)與它在現(xiàn)實(shí)中遇到的數(shù)據(jù)不匹配，這個(gè)問題被稱為數(shù)據(jù)轉(zhuǎn)移。例如，經(jīng)過訓(xùn)練，能夠在高質(zhì)量的醫(yī)學(xué)圖像中發(fā)現(xiàn)疾病跡象的人工智能，將難以識(shí)別繁忙的診所中廉價(jià)相機(jī)捕捉到的模糊或裁剪的圖像。

現(xiàn)在，谷歌的7個(gè)不同團(tuán)隊(duì)的40名研究人員發(fā)現(xiàn)了機(jī)器學(xué)習(xí)模型常見失敗的另一個(gè)主要原因。這被稱為“不規(guī)范”，它可能是一個(gè)比數(shù)據(jù)轉(zhuǎn)移更大的問題。領(lǐng)導(dǎo)這項(xiàng)研究的Alex D‘a(chǎn)mour說：“我們對(duì)機(jī)器學(xué)習(xí)模型的要求比我們目前的方法所能保證的要多?！?/p>

D’amour最初的調(diào)查如同滾雪球般滾來滾去，數(shù)十名谷歌研究人員最終著眼于一系列不同的人工智能應(yīng)用，從圖像識(shí)別到自然語言處理（NLP）再到疾病預(yù)測(cè)。他們發(fā)現(xiàn)，不規(guī)范的要求是所有這些項(xiàng)目表現(xiàn)不佳的原因。問題在于機(jī)器學(xué)習(xí)模型的訓(xùn)練和測(cè)試方式，沒有簡(jiǎn)單的解決辦法。

粗略地說，建立一個(gè)機(jī)器學(xué)習(xí)模型需要在大量的例子上訓(xùn)練它，然后在一堆它還沒有見過的類似的例子上測(cè)試它。當(dāng)模型通過測(cè)試時(shí)，就完成了。

谷歌的研究人員指出，這個(gè)標(biāo)準(zhǔn)太低了。訓(xùn)練過程可以產(chǎn)生許多不同的全部通過測(cè)試的模型，但是這些模型會(huì)有一些小差異，取決于諸如在培訓(xùn)開始之前隨機(jī)值的神經(jīng)網(wǎng)絡(luò)中的節(jié)點(diǎn)、訓(xùn)練數(shù)據(jù)、被選中或者代表的方式、培訓(xùn)運(yùn)行的數(shù)量等等。如果這些微小的、隨機(jī)的差異不影響模型在測(cè)試中的表現(xiàn)，它們通常會(huì)被忽視。但事實(shí)證明，在現(xiàn)實(shí)世界中，它們會(huì)導(dǎo)致巨大的表現(xiàn)差異。

換句話說，如今用來構(gòu)建大多數(shù)機(jī)器學(xué)習(xí)模型的過程無法區(qū)分哪些模型在現(xiàn)實(shí)世界中可行，哪些模型不可行。

為了解決這一問題，一種選擇是在培訓(xùn)和測(cè)試過程中設(shè)計(jì)一個(gè)額外的階段，在這個(gè)階段中可以同時(shí)生產(chǎn)多個(gè)模型，而不是只生產(chǎn)一個(gè)。然后，這些相互競(jìng)爭(zhēng)的模型可以在具體的現(xiàn)實(shí)任務(wù)中再次進(jìn)行測(cè)試，以選擇最適合這項(xiàng)工作的模型。

那需要做很多工作。蘇黎世聯(lián)邦理工學(xué)院的機(jī)器學(xué)習(xí)研究員Yannic Kilcher說，但是對(duì)于像谷歌這樣建造和部署大型模型的公司來說，這樣做是值得的。谷歌可以提供50種不同版本的NLP模型，應(yīng)用程序開發(fā)人員可以選擇最適合他們的一個(gè)，他說。

D ‘Amour和他的同事們還沒有解決這個(gè)問題，但正在探索改進(jìn)培訓(xùn)過程的方法。他表示：“我們需要更好地明確我們對(duì)模型的要求。”“因?yàn)樽罱K的結(jié)果往往是，我們只是在模型在實(shí)際應(yīng)用中失敗之后才發(fā)現(xiàn)這些要求?！?/p>

如果人工智能想要在實(shí)驗(yàn)室之外產(chǎn)生和在實(shí)驗(yàn)室內(nèi)部一樣大的影響，那么進(jìn)行修復(fù)是至關(guān)重要的。在谷歌從事醫(yī)療人工智能領(lǐng)域工作的合著者凱瑟琳海勒（Katherine Heller）表示，當(dāng)人工智能在現(xiàn)實(shí)世界中表現(xiàn)不佳時(shí)，人們就不太愿意使用它了：“在殺手級(jí)應(yīng)用方面，我們已經(jīng)失去了很多信任，這是我們希望重新獲得的重要信任。”

責(zé)任編輯：xj