谷歌首席決策智能工程師Cassie Kozyrkov最近寫了一篇AI/機器學(xué)習(xí)項目構(gòu)建“終極指南”。既然是入門級，文中對算法、模型等技術(shù)內(nèi)容幾乎沒提，而是從尋找合適項目負責(zé)人開始，講到用戶案例、性能指標、再到團隊招募、測試標準制定等，洋洋灑灑而又條理清晰，值得初涉AI項目的人士參考。

目前，許多團隊正在試圖通過深入研究算法和數(shù)據(jù)來啟動一個應(yīng)用型AI項目，然后再確定期望的輸出和目標。

不幸的是，這個過程就好比在公寓里養(yǎng)了幾年小狗，然后驚訝地發(fā)現(xiàn)它不能幫你放羊。

相反，你需要在養(yǎng)小狗（ML/AI系統(tǒng)）之前，明確自己的目標或需求是什么，然后再有計劃地對其進行訓(xùn)練。

這篇指南就深入的研究了如何正確的開展ML/AI系統(tǒng)，并將從以下五個方面進行講解：

明確項目負責(zé)人

識別用戶案例

做一些事實核查

制定性能指標

設(shè)定測試標準，來消除認知因素產(chǎn)生的偏差

本指南使用人群：決策者、倫理學(xué)家、ML/AI工程師、分析師、定性專家、經(jīng)濟學(xué)家、心理學(xué)家、可靠性工程師、人工智能研究員、領(lǐng)域?qū)＜?、用戶體驗專家、統(tǒng)計學(xué)家、人工智能控制理論家。

明確項目負責(zé)人：找到說了算的人！

在機器學(xué)習(xí)和人工智能項目中，第一步應(yīng)該是明確正確的領(lǐng)導(dǎo)人選

我們將要解決的問題是誰來當(dāng)項目負責(zé)人，也就是說，該由誰來發(fā)號施令。

如果你選擇了一個博士研究員來擔(dān)任這個職位，那可能是由于這個人的決策能力和對你的業(yè)務(wù)的深刻理解。如果你打算讓他們擔(dān)任這個角色，事后再對他們的能力進行評定，那么你選錯人了。我們所稱的決策者(可以是個人或委員會)是應(yīng)該擁有最終決定權(quán)的實體。

如果決策者不精通決策的藝術(shù)和科學(xué)，有一個解決辦法：將他們和定性專家進行配對。

識別用戶案例

關(guān)注輸出

ML/AI不是魔法，它不能解決所有問題。它們只是一個標簽，你需要自己去弄清楚你要往上面貼什么標簽。

事物標簽不僅僅意味著分類。這里的標簽是指輸出。它可以是一個類別，一個數(shù)字，一個句子，一個波形，一組ID，一個單一動作，一個操縱桿運動，一個動作序列等等。

如果你讀了我最近一篇關(guān)于算法如何工作的文章，你就會注意到這篇文章想當(dāng)然地認為有必要給一杯茶貼上Cassie喜歡或不喜歡的標簽。

誰會同意浪費每個人的時間去做這樣的用例呢？！它將如何幫到企業(yè)？那個分類器甚至應(yīng)該存在嗎？假設(shè)它可以工作，那它值得花時間和精力去建造嗎?

現(xiàn)在談“輸入”并不是一個好時機

決策者中有很多人對數(shù)據(jù)非常熟悉。有些人可以同時談?wù)撦斎牒洼敵龇矫娴氖虑?。但我的建議是：不要談?wù)摗拜斎搿?！原因如下?/p>

原因1：會錯失良機

這是非常顯而易見的。有些利益相關(guān)者對數(shù)據(jù)并不會像你那樣熟悉，他們很容易混淆。在早期，你可能會向他們介紹你的想法，希望為你的項目獲得資源。但不要讓他們對此產(chǎn)生困惑！要告訴他們項目是做什么的，而不是怎么做的。

很多對數(shù)據(jù)比較熟悉人都會遇到一個問題，那就是他們會想當(dāng)然的認為別人對數(shù)據(jù)也是非常敏感、熟悉的。而讓我干到非常震驚的是，科技界許多絕頂聰明的人對數(shù)據(jù)并不了解，所以我現(xiàn)在知道不應(yīng)該將這件事情看得那么理所當(dāng)然。

原因2: 我們默認的情形不一定是最優(yōu)的

作為一名有著多年經(jīng)驗工程師，我發(fā)現(xiàn)我們這些人越來越喜歡關(guān)注細節(jié)，去他的大局觀。這實際上一種是風(fēng)險很大的選擇：比如當(dāng)你花了6個小時與你的伙伴討論，變量x是否是一個很好的輸入，是否可以作為預(yù)測輸出y的適當(dāng)記錄，這時其實你已經(jīng)默認y是值得尋求的產(chǎn)出了。你已經(jīng)確信了這一點，最后可能會做出并不需要的東西。

你可能還沒有為機器學(xué)習(xí)做好準備

仍在忙著尋找用戶實例嗎？先停下來分析一下吧，分析的目標是為決策者創(chuàng)造靈感。一旦你受到了啟發(fā)，你就可以回到ML /AI過程中并重新開始。分析（比如數(shù)據(jù)挖掘）對于每個項目而言都是一個好主意，而ML / AI僅適用于利用數(shù)據(jù)自動化標記的項目。

雖然它們之間的數(shù)學(xué)基礎(chǔ)通常是相同的，但具體過程有很大差異。數(shù)據(jù)挖掘就是最大限度地提高發(fā)現(xiàn)速度，而機器學(xué)習(xí)是實現(xiàn)高性能的自動化過程。在數(shù)據(jù)挖掘中，你的團隊只會犯一個錯誤，而后者可能犯的錯誤不勝枚舉。只有處理確實值得投入資源的實例時，再著手處理這些令人頭疼的問題。

讓我們想象一下這個用例，標記圖片是不是一杯茶。首先要確保不是僅僅考慮標記一兩個杯子。 ML/AI對于自動執(zhí)行許多重復(fù)決策很有意義，它不是一次性的。

拿一支筆，寫下你自己判斷的標記，（本例中只涉及是/否，很容易）。寫下你如何判斷出這個結(jié)果的，寫下標記錯誤會是什么樣子的。然后預(yù)計機器學(xué)習(xí)中會出現(xiàn)的錯誤。

核對事實很重要

一旦你能清楚地表達出你所尋求的標記，就可以快速檢查一下：你手頭關(guān)于這個商業(yè)問題的數(shù)據(jù)嗎？

這些數(shù)據(jù)必須具有相關(guān)性。你不能使用大數(shù)據(jù)的模式來預(yù)測你的血糖水平。顯然，無用的數(shù)據(jù)是不算數(shù)的。你不必分析數(shù)據(jù)（這事放在項目的后期來做），但應(yīng)該確定在時機成熟時需要進行分析的內(nèi)容。因為沒有數(shù)據(jù)，AI項目就不復(fù)存在了。

此外，你還需要確認是否具備處理數(shù)據(jù)的計算力。

沒有數(shù)據(jù)支持，AI項目就會像這頭牛一樣

在組建團隊之前，有必要檢查以下事實。確保以下問題的答案都是肯定的，下面是這些問題的概覽：

適當(dāng)?shù)娜蝿?wù):你是否在自動進行許多決策和標記過程？是否無法每次都完美找到答案？

合理的期望:你的系統(tǒng)可能會很優(yōu)秀，但并不是完美無瑕的，你能否接受偶爾會出錯的系統(tǒng)？

潛在的有用輸入是否存在？你能否獲取到這些輸入（目前沒有這些數(shù)據(jù)也沒問題，未來制定計劃可以拿到這些數(shù)據(jù)就行）

充足的實例:當(dāng)有機會和統(tǒng)計學(xué)家或機器學(xué)習(xí)工程師一起喝酒時，記得提一嘴現(xiàn)在自己手頭有多少實例可用，想要獲得什么樣的輸出。

計算機性能:你是否擁有足夠的計算力來應(yīng)對你使用的數(shù)據(jù)集？有了云技術(shù)，這一點其實不再是什么大問題了。

團隊:你是否足夠自信，認為一定可以招募到擁有必要技能的隊友？

基本事實:除非從事非監(jiān)督式學(xué)習(xí)研究，你能夠正確獲取輸出嗎？如果不能，是不是要花錢請人為你完成這項任務(wù)？

可以開始組建團隊了！

明智地確定衡量標準

如果你是個新手，下一步可能會有點棘手。你要決定每個標記結(jié)果的價值。被標記為“是”的令人作嘔的一杯茶的味道比一杯被標記為“否”的美味的茶的爛多少倍？ 全都由你決定！

如果你已經(jīng)頭大了，可以找一些對數(shù)字敏感的人一起頭腦風(fēng)暴。如果你想要最好的幫助者，可以向一些經(jīng)濟學(xué)家求助。經(jīng)濟學(xué)家為AI項目提供了很多有用的意見。

在搞清楚如何把握單一輸出結(jié)果的權(quán)衡問題之后，就該考慮如何處理幾千個結(jié)果的問題了。使用平均值是一個一般選擇，但不一定非要取平均值。

制定指標

制定指標的方法有很多種。在本文中上面的例子里，你可以選擇一個非常簡單的標準：準確性！也就是說“不要出錯?！奔僭O(shè)每個錯誤都同樣糟糕（取值為0），每個正確反應(yīng)的作用都一樣好（取值為1），然后取平均值。

也許你不想浪費自己的時間，你要確保當(dāng)系統(tǒng)判定為美味時，它真的值得喝喝看，但你可能因此錯過非常好喝的茶。嗯，這個度量標準稱為精度。

遇到問題需要幫助了？你之前找來的經(jīng)濟學(xué)家已經(jīng)走了？沒問題！或者你有喜歡設(shè)計游戲的朋友嗎？游戲愛好者在不知不覺中在整個生命中都在進行訓(xùn)練！如果你和這類人沒那么深的交情，你可以打電話給你的分析專家，他們的工作就是幫助決策者確認對這類事情的觀點。

咨詢專家意見

在涉及到重大問題的應(yīng)用中，請多咨詢專家，確認不會以某種不正當(dāng)和有害的方式對某些指標打了高分。

應(yīng)該請哪些專家？你是否聽說過一個笑話，說一位決策者、倫理學(xué)家，AI控制理論家，統(tǒng)計學(xué)家，用戶體驗研究員，行為經(jīng)濟學(xué)家，領(lǐng)域?qū)＜液涂煽啃怨こ處熞黄鹱哌M酒吧......

當(dāng)然，這種情況對于無害的商業(yè)應(yīng)用程序來說可能有點過分，因此您求助的專家對這些學(xué)科的熟悉程度非常重要。

創(chuàng)建業(yè)績指標！

當(dāng)你完成上面的步驟后，就已經(jīng)創(chuàng)建了業(yè)務(wù)績效指標！

與損失函數(shù)不同，在績效指標方面，存在的可能是無窮無盡的，要由決策者決定哪些指標才是真正重要的。如果您對解決這個問題感到焦慮，我正在醞釀更多文章來幫助您掌握這些指標的開發(fā)。

損失函數(shù)是用于優(yōu)化的，不是用來測試的

“在AI應(yīng)用中，損失函數(shù)應(yīng)該用于優(yōu)化，而不是用于統(tǒng)計測試。統(tǒng)計測試中應(yīng)該問的問題是：“模型的性能是否足以構(gòu)建和啟動？”

為方便起見，您可以使用標準化的損失函數(shù)進行優(yōu)化，前提是該函數(shù)與你的領(lǐng)導(dǎo)想象中的函數(shù)相同（可通過分析或模擬執(zhí)行相關(guān)性檢查），但測試時，請使用自己的損失函數(shù)。

針對目標人群設(shè)置測試標準

明確你感興趣的目標人群

在指定打算使用哪些實例之前，談?wù)撓到y(tǒng)是否能夠“正常工作”是沒有意義的。是的，這意味著你需要指定對那些特定的人群感興趣。

設(shè)置測試系統(tǒng)的標準是決策者的責(zé)任，應(yīng)該引起重視。

預(yù)先設(shè)定標準是保護我們避免打造出可怕的機器學(xué)習(xí)和人工智能系統(tǒng)的重要一步。

這個標準不是唯一的。你也可以制定一個團隊可以達到的性能水平，但這不是測試標準的，測試時請使用最低限度的標準。

克服固有認知偏見的影響

事實證明，作為人類的一員，我們都存在一些可愛的認知偏見，可以簡單歸結(jié)為：當(dāng)我們?yōu)槟臣峦度肓藭r間和精力，我們就會愛上它，即使產(chǎn)生的是一堆有毒的垃圾！

所以，趁著你現(xiàn)在仍然清醒，在將大部分時間和精力投入某個項目之前，應(yīng)該對業(yè)務(wù)項目中問題進行冷酷而嚴格的審視，并能夠達到：“如果這個項目達不到最低要求，我保證砍掉它！”

不要太苛刻

如果你總是要求AI模型的表現(xiàn)比人類更好，那你可能會讓你錯過機會。這有點像說，你只愿意聘請奧運會金牌得主來為你家的裝修鋪地磚。也許奧林匹克運動員比普通人的能力更強，但采用如此嚴格的招聘標準可能會讓你無人可招。

應(yīng)該適當(dāng)?shù)亟档蜆藴?，使其能夠滿足業(yè)務(wù)需求即可，但不低于最低標準。正如經(jīng)濟學(xué)家所說，將標準放低至最低限度是具有激勵作用的。

有時自動化生產(chǎn)的產(chǎn)品的單位質(zhì)量會低于手工制品，但機器制造的規(guī)模和速度使其具備了商業(yè)上的價值。這對你的業(yè)務(wù)有價值嗎？嘿，負責(zé)人是你，不是我。祝你好運！

以上就是AI/機器學(xué)習(xí)項目搭建的第一步指南！如果你發(fā)現(xiàn)本指南中的任何觀點還算有價值，請分享給身邊的人中最有可能負責(zé)決策的人。讓我們建立一支技術(shù)嫻熟、負責(zé)任的人工智能領(lǐng)導(dǎo)者團隊，共創(chuàng)AI的美好未來！