糟糕的數(shù)據(jù)對于人工智能來說是個大問題，隨著企業(yè)越來越接受人工智能，風險只會越來越高。人工智能和機器學習有望徹底改變很多行業(yè)，但它們也帶來了重大風險——鑒于該技術(shù)現(xiàn)在才剛剛開始得到大力實施，其中有很多風險尚待發(fā)現(xiàn)。

已經(jīng)有一些公共的，令人尷尬的人工智能變壞的例子。微軟的Tay由于遭到推特釣魚(Twitter troll)的破壞，在一天之內(nèi)從無辜的聊天機器人變成了一個瘋狂的種族主義者。兩年前，谷歌不得不審查“大猩猩”和“黑猩猩”這樣的關(guān)鍵詞的圖片搜索，因為它返回的結(jié)果是非洲裔美國人的照片——而這個問題仍未完全解決。

隨著企業(yè)越來越接受人工智能，風險只會越來越大。

西雅圖一家將人工智能應(yīng)用于醫(yī)療保健數(shù)據(jù)的公司KenSci的人工智能的負責人Ankur Teredesai說：“我們一覺醒來就冒汗。到最后，我們談?wù)撜鎸嵉牟∪?，真實的生活。?/p>

KenSci的人工智能平臺向醫(yī)生和保險公司提供醫(yī)療保健建議。如果醫(yī)療記錄或用于創(chuàng)建預測模型的訓練集中存在錯誤，后果可能是致命的，這種情況揭示了人工智能實施的關(guān)鍵風險因素：數(shù)據(jù)實踐的質(zhì)量。

人工智能的護欄壞掉了

KenSci處理來自世界各地的合作伙伴組織的數(shù)百萬患者記錄。這些信息是以不同的語言，標準和格式，并按照不同的分類方案組織起來的。

為了解決這個問題，KenSci使用本土和第三方工具，它還取決于合作伙伴的醫(yī)療保健機構(gòu)。

他說：“醫(yī)療保健系統(tǒng)投入了大量的精力來制定協(xié)議、確保合規(guī)性、確保他們的數(shù)據(jù)資產(chǎn)盡可能的干凈。五年或十年前，這是個大問題，今天，由于西方世界、亞洲和澳大利亞大部分地區(qū)數(shù)字化的成熟，編碼顯著減少，世界上很多地方已經(jīng)轉(zhuǎn)向標準化。”

為了減輕對人工智能的依賴所產(chǎn)生的風險，KenSci有三個額外的安全層。首先有防御錯誤的前線：提供護理的醫(yī)生。

Teredesai說：“我們不相信人工智能。我們相信輔助智能，我們把如何行動的決策交給醫(yī)生這樣訓練有素的專家來制定。”

他說，KenSci平臺只是提出建議，而在大多數(shù)情況下，這些建議甚至不適用于治療。他說：“我們的大部分工作都集中在成本預測、工作流分析和工作流程優(yōu)化上，很多時候，我們離臨床決策只有幾步之遙?！?/p>

該公司自己的醫(yī)療專家通過評估外部傳來的數(shù)據(jù)以及數(shù)據(jù)使用方式上的限制來提供第二道防線。例如，來自男性患者治療結(jié)果的數(shù)據(jù)可能不適用于女性。

他說：“我們有一個嚴格的程序來確保模型不被評分——如果底層的數(shù)據(jù)不正確，不足以使該模型得到評分——錯進錯出?！?/p>

最后，有外部的同行評審對KenSci模型的輸出結(jié)果，以及由平臺做出決策的因素進行評審。

他說：“我們的研究人員在人工智能運動的公平性和透明度方面處于最前沿。我們相信公開出刊物，相信模型正在對分發(fā)的參數(shù)做決策，以便專家不僅可以評估模型的輸出結(jié)果，還可以評估納入該評分體系的因素和分數(shù)。為了確保KenSci平臺是開放的、透明的、接受調(diào)查的，人們花了很多心思?！?/p>

KenSci的方法顯示了公司在進一步依賴人工智能時需要實施的各種流程。

一切關(guān)乎數(shù)據(jù)

以人工智能為基礎(chǔ)的網(wǎng)絡(luò)安全初創(chuàng)公司Jask的首席技術(shù)官JJ Guy說，人工智能的90%是數(shù)據(jù)物流。他說，所有主要的人工智能進展都受到數(shù)據(jù)集進步的推動。

他說：“算法簡單而有趣，因為它們是干凈、簡單和離散的問題。收集、分類和標記用于訓練算法的數(shù)據(jù)集是一份苦差事——尤其是足以反映真實世界的數(shù)據(jù)集?！?/p>

他說，以應(yīng)用提供逐向駕駛路線導航的程序為例。它們已經(jīng)存在了幾十年，但最近才變得好用——因為有了更好的數(shù)據(jù)。

他說：“谷歌資助了一個車隊，該車隊行駛在美國的每一條道路上并對道路進行數(shù)字化繪圖。車隊將這些數(shù)據(jù)與衛(wèi)星圖像和其它數(shù)據(jù)源結(jié)合起來，然后聘請一批人類監(jiān)護員手動改善表示世界各地建筑、交叉口和交通信號燈的數(shù)據(jù)。隨著人工智能應(yīng)用于更廣泛的問題，成功的方法將會就是那些認識到成功并不是來自算法而是來自數(shù)據(jù)整理(data wrangling)的方法?！?/p>

然而，公司在開始他們的人工智能項目之前往往沒有意識到良好的數(shù)據(jù)的重要性。

Forrester Research的分析師Michele Goetz表示：“大多數(shù)組織并不認為這是一個問題。當被問及人工智能預計會帶來什么挑戰(zhàn)時，擁有用于訓練人工智能的受到悉心監(jiān)護的數(shù)據(jù)集居然最不受重視?！?/p>

Forrester去年進行的一項調(diào)查顯示，只有17%的受訪者表示最大的挑戰(zhàn)在于沒有“受到悉心監(jiān)護的數(shù)據(jù)來訓練人工智能?！?/p>

她說：“但是，當公司開始進行人工智能項目時，這是從概念驗證和試點項目轉(zhuǎn)向生產(chǎn)系統(tǒng)的最大難題和障礙之一?！?/p>

451 Research的創(chuàng)始人兼研究副總裁Nick Patience說，最大的問題之一不是沒有足夠的數(shù)據(jù)，而是數(shù)據(jù)被鎖藏并難以訪問。

他說：“如果你的數(shù)據(jù)完全孤立，機器學習就不會奏效。例如，如果你的財務(wù)數(shù)據(jù)在甲骨文(Oracle)中，人力資源(HR)數(shù)據(jù)在Workday中，合同在Documentum存儲庫中，并且你沒有做任何事情來嘗試創(chuàng)建這些孤島之間的連接?！?/p>

他說，公司還沒有準備好接受人工智能。

他說：“你不妨在每個孤島中使用標準的分析工具?！?/p>

數(shù)據(jù)問題可能會干擾人工智能

即使你有數(shù)據(jù)，你仍然會遇到質(zhì)量問題，以及隱藏在訓練集中的偏見。

最近的幾項研究表明，用于訓練圖像識別的人工智能的流行數(shù)據(jù)集帶有性別偏見。例如，一張男性做飯的圖片會被誤認為是女性，因為在培訓數(shù)據(jù)中，廚師往往是女性。

SpringBoard.ai的首席執(zhí)行官Bruce Molloy說：“無論我們有什么偏見，要是存在各種歧視、種族或性別或年齡，那些東西都會反映在數(shù)據(jù)中?！?/p>

構(gòu)建人工智能系統(tǒng)的公司需要考慮分析數(shù)據(jù)的數(shù)據(jù)和算法是否符合組織的原則、目標和價值。

他說：“你不能將判斷、道德和價值外包給人工智能?！?/p>

他說，這可能來自幫助人們了解人工智能如何以自己的方式做出決定的分析工具，來自內(nèi)部或外部審計師，還是評估委員會。

合規(guī)性也是數(shù)據(jù)來源的一個問題——僅僅因為一個公司可以獲取信息，并不意味著它可以隨心所欲地使用信息。

IDC的認知和人工智能系統(tǒng)研究主管David Schubmehl說，組織已經(jīng)開始審計機器學習模型，并且研究進入這些模型的數(shù)據(jù)。

他說，獨立的審計公司也開始關(guān)注它。

他說：“我認為這將成為審計過程的一部分，但與其它任何東西一樣，這是一個新興領(lǐng)域。組織仍在試圖弄明白什么才是最佳實踐。”

他表示，在此之前，公司要謹慎行事。

他說：“我認為我們還處在這樣的初級階段——人工智能或機器學習模型還只是向受過培訓的專業(yè)人員提供建議和幫助，而不是自己完成工作。人工智能應(yīng)用程序要花更長的時間來創(chuàng)建，因為人們正試圖確保數(shù)據(jù)是正確的，數(shù)據(jù)得到合理的集成，并且他們擁有正確的數(shù)據(jù)類型和正確的數(shù)據(jù)集?！?/p>

普華永道公司的股東兼全球人工智能領(lǐng)導者Anand Rao表示，即使完全準確的數(shù)據(jù)也可能存在蓋然性的偏差。比如說，如果有一家位于中西部的保險公司利用歷史數(shù)據(jù)來訓練人工智能系統(tǒng)，然后擴展到佛羅里達州，該系統(tǒng)對于預測颶風風險將不會有用。

他說：“歷史是有效的，數(shù)據(jù)是有效的。問題是，你在哪里使用這個模型，以及如何使用這個模型?”

假數(shù)據(jù)的崛起

這些內(nèi)在偏見可能難以發(fā)現(xiàn)，但至少它們不涉及積極嘗試弄亂結(jié)果的數(shù)據(jù)源。以在社交媒體上傳播假新聞為例，這里的問題越來越嚴重。

Rao說：“這是一場軍備競賽?！?/p>

雖然社交媒體公司正在努力解決這個問題，但黑客正在使用自己的人工智能來創(chuàng)建聰明得足以騙過人類的人工智能，無論是影響社交媒體還是讓廣告商相信他們才是真正的消費者。

Lucidworks首席執(zhí)行官Will Hayes說：“我們已經(jīng)看到了影響?？纯催x舉以及用機器人和其它操縱者放大消息的做法?！?/p>

那些操縱者也并不總是在俄羅斯或中國。

Hayes說：“如果一個品牌希望在社交媒體上增大影響力，營銷公司想要證明他們增加了你的曝光率，這根本就不必動用工程師來思考他們賴以操縱數(shù)據(jù)的方法。”

這就是領(lǐng)域知識和常識發(fā)揮作用的地方。

加里根萊曼集團(The Garrigan Lyman Group，該公司是一家營銷公司，幫助公司處理來自各種渠道的數(shù)據(jù))的首席技術(shù)官Chris Geiser說：“了解數(shù)學和模式只能讓你走到這一步了。你要了解所有的個人數(shù)據(jù)來源，這才是最重要的事情，你越了解自己的數(shù)據(jù)，你想要達到的目標以及你的關(guān)鍵績效指標，你就越能指向正確的方向。”

對數(shù)據(jù)源進行三角測量

如果一家公司的數(shù)據(jù)有多個來源，那么在應(yīng)用任何機器學習之前，以一個數(shù)據(jù)來源為準檢查另一個數(shù)據(jù)來源，這是很重要。

作為全球最大的電信公司之一，NTT集團在其網(wǎng)絡(luò)基礎(chǔ)設(shè)施中生成了大量的數(shù)據(jù)。

NTT Security的安全研究全球副總裁Kenji Takahashi說：“我們處于安全目的而使用機器學習來分析網(wǎng)絡(luò)流量數(shù)據(jù)。我們的最終目標是全面了解隱藏在網(wǎng)絡(luò)中的惡意僵尸網(wǎng)絡(luò)基礎(chǔ)設(shè)施。”

該公司目前正在投資技術(shù)，以提高機器學習培訓數(shù)據(jù)的質(zhì)量。為此，NTT使用“集成(ensemble)”方法，對來自不同來源的數(shù)據(jù)分析結(jié)果進行加權(quán)投票，他這樣說道。

然后，這些數(shù)據(jù)進入超大型數(shù)據(jù)庫，將其作為機器學習的訓練數(shù)據(jù)。

他說：“就像在教室里一樣，學習任何錯漏百出的劣質(zhì)課本都是非常不利的。訓練數(shù)據(jù)的質(zhì)量決定了機器學習系統(tǒng)的性能。”

創(chuàng)建團隊和工具來解決問題

Infosys于1月份發(fā)布的一項調(diào)查顯示，49%的IT決策者表示他們無法部署他們想要的人工智能，因為他們的數(shù)據(jù)還沒就緒。

Infosys的高級副總裁兼產(chǎn)品管理和戰(zhàn)略主管Sudhir Jha說：“人工智能正在成為商業(yè)戰(zhàn)略的核心，但數(shù)據(jù)管理仍然是一個揮之不去的障礙?！?/p>

在這里，領(lǐng)導力才能是關(guān)鍵，對于一些開展人工智能旅程的組織來說，第一步可能是任命一位首席數(shù)據(jù)官，SAP的Leonardo和人工智能部門的全球副總裁Marc Teerlink表示，擁有首席數(shù)據(jù)官的公司能更好地管理數(shù)據(jù)。

他說：“錯進錯出。數(shù)據(jù)質(zhì)量，所有權(quán)和治理都事關(guān)重大?！?/p>

普華永道的Rao說，如今的大多數(shù)公司都必須開發(fā)自己的技術(shù)來準備用于人工智能和機器學習系統(tǒng)的數(shù)據(jù)。為此，你需要數(shù)據(jù)科學家，如果你內(nèi)部不具備這樣的腦力，你可以聘請顧問來完成這項工作。

一些前瞻的公司，例如Bluestem Brands，正在使用人工智能來處理供其它人工智能系統(tǒng)使用的數(shù)據(jù)。這家擁有13個不同零售品牌(包括Fingerhut和Bedford Fair)的公司已采取這種方法來確保搜索黑色服裝的顧客能獲得所有相關(guān)結(jié)果——無論供應(yīng)商將這種顏色稱為“黑色”、“午夜”、“深海市蜃樓”或“深灰色(dark charcoal)”。

IT主管Jacob Wagner說：“藝術(shù)家有無限的創(chuàng)造力來指代同一個基本色彩的色差——它永無止境”。不僅僅是顏色。他說：“同樣的問題存在于人類解析和解釋的每個屬性上?！?/p>

Bluestem用唾手可得的碎片創(chuàng)建了數(shù)據(jù)準備系統(tǒng)。

Wagner說：“搜索技術(shù)在很大程度上正在商品化。詞法分析、文本匹配，所有這些技術(shù)已經(jīng)成為典范并得到了改善，開源算法與任何專有軟件包一樣高效?！?/p>

而且并不需要動用博士級別的數(shù)據(jù)科學家來做這種事。

他說：“有了一些才華橫溢的工程師，你可以想出將它接入數(shù)據(jù)流的方法?！?/p>

Wagner是Apache Spark的忠實粉絲，Apache Spark是一個大數(shù)據(jù)引擎，它可以從很多不同來源獲取數(shù)據(jù)并對其進行切割，Apache Solr是一個開源搜索引擎。Bluestem不僅在面向客戶的方面使用它，而且還在內(nèi)部使用它，以幫助編輯工作流(譯注：原文為editorial workflows，editorial可能是指iOS上的一款文本編輯神器，同時可用于制作工作流workflow)。

該公司還使用Lucidworks Fusion這樣的商業(yè)產(chǎn)品，后者允許商業(yè)用戶通過額外的業(yè)務(wù)邏輯來定制搜索體驗——比如說，可以將與情人節(jié)有關(guān)的查詢集中到一系列策略集中，而不需要IT人員參與。

有了正確的數(shù)據(jù)管理策略、工具和人員，你可以大大提高組織的人工智能獲得成功的可能性。