構(gòu)建有效的機(jī)器學(xué)習(xí) (ML) 系統(tǒng)需要提出許多問題。僅僅訓(xùn)練一個(gè)模型，然后放任不管，是遠(yuǎn)遠(yuǎn)不夠的。而優(yōu)秀的開發(fā)者就像偵探一樣，總是不斷探索，試圖更好地理解自己的模型：數(shù)據(jù)點(diǎn)的變化對模型的預(yù)測結(jié)果有何影響？對于不同的群體，例如在歷史上被邊緣化的人群，模型的表現(xiàn)是否有所不同？用于測試模型的數(shù)據(jù)集的多樣化程度如何？要回答這些類型的問題并不容易。探索 “What-If” 場景通常意味著編寫一次性的自定義代碼來分析特定模型。此過程不僅效率低下，而且非編程人員很難參與塑造和改進(jìn) ML 模型的過程。Google AI PAIR 計(jì)劃的一個(gè)重點(diǎn)就是讓廣大用戶能夠更輕松地檢查、評估和調(diào)試 ML 系統(tǒng)。

我們發(fā)布了What-If 工具（https://pair-code.github.io/what-if-tool/），這是開源TensorBoard網(wǎng)絡(luò)應(yīng)用的一個(gè)新功能，可以讓用戶在無需編寫代碼的情況下分析 ML 模型。在給定 TensorFlow 模型和數(shù)據(jù)集指針的前提下，What-If 工具可為模型結(jié)果探索提供交互式可視界面。

What-If 工具：展示了一組面部圖片（共 250 張），以及微笑檢測模型得出的結(jié)果

What-If 工具擁有各種功能，包括使用Facets自動(dòng)可視化數(shù)據(jù)集、手動(dòng)編輯數(shù)據(jù)集示例并查看相關(guān)更改的影響，以及自動(dòng)生成局部依賴圖（顯示模型的預(yù)測結(jié)果如何隨任何單個(gè)功能的更改而變化）。下面詳細(xì)探索其中兩項(xiàng)功能。

探索數(shù)據(jù)點(diǎn)上的 What-If 場景

反事實(shí)

只需點(diǎn)擊一下按鈕，即可將某個(gè)數(shù)據(jù)點(diǎn)與模型預(yù)測不同結(jié)果的最相似點(diǎn)進(jìn)行比較。我們將這些點(diǎn)稱為 “反事實(shí)”，它們可以清楚顯示出模型的決策邊界。或者，您也可以手動(dòng)編輯一個(gè)數(shù)據(jù)點(diǎn)，然后探索模型預(yù)測的變化情況。在下方的屏幕截圖中，我們將該工具用于二進(jìn)制分類模型。此模型根據(jù)UCI 人口普查數(shù)據(jù)集的公開人口普查數(shù)據(jù)來預(yù)測某個(gè)人的收入是否超過 5 萬美元。這是 ML 研究人員常用的基準(zhǔn)預(yù)測任務(wù)，特別適用于分析算法公平性的情況，我們很快會談及這個(gè)話題。在這個(gè)案例中，對于選定的數(shù)據(jù)點(diǎn)，模型預(yù)測此人收入超過 5 萬美元的置信度為 73%。該工具自動(dòng)找出數(shù)據(jù)集中與此最相似的人（模型預(yù)測其收入少于 5 萬美元），并將二者進(jìn)行并排比較。在此案例中，只需對年齡和職業(yè)作出微小的改變，模型的預(yù)測就會出現(xiàn)大幅變化。

反事實(shí)對比

表現(xiàn)和算法公平性分析

您也可以探索不同分類閾值的影響，并考慮不同數(shù)值公平性標(biāo)準(zhǔn)等限制條件。下方的屏幕截圖展示了微笑檢測模型的結(jié)果，該模型使用開源CelebA 數(shù)據(jù)集（由帶注解的名人面部圖像組成）進(jìn)行訓(xùn)練。在下圖中，我們根據(jù)頭發(fā)是否為棕色，將數(shù)據(jù)集中的面部圖像分成兩組，并為其中每組繪制一條ROC 曲線和預(yù)測結(jié)果的混淆矩陣，同時(shí)提供滑塊，設(shè)定模型必須在達(dá)到一定的置信度，才會判定是否為微笑的面部圖像。在此案例中，該工具自動(dòng)為兩組設(shè)置了置信度閾值，以優(yōu)化模型，從而實(shí)現(xiàn)機(jī)會均等。

比較兩組數(shù)據(jù)在微笑檢測模型上的表現(xiàn)，并將其分類閾值設(shè)置為滿足 “機(jī)會均等” 限制條件

演示

為了說明 What-If 工具的功能，我們發(fā)布了一組使用預(yù)訓(xùn)練模型的演示：

檢測錯(cuò)誤分類：這是一種多分類模型，通過對植物花朵的四次測量來預(yù)測植物種類。該工具有助于顯示模型的決策邊界和導(dǎo)致錯(cuò)誤分類的原因。該模型使用UCI 鳶尾花數(shù)據(jù)集進(jìn)行訓(xùn)練。

評估二進(jìn)制分類模型的公平性：這是上文提及的微笑檢測圖像分類模型。該工具有助于評估不同子組的算法公平性。在訓(xùn)練模型的過程中，為了展示該工具如何幫助揭示模型中的此類偏見，我們特意沒有提供來自特定人群子集的任何示例。評估公平性需要謹(jǐn)慎考慮整體環(huán)境，但這是很有用的量化起點(diǎn)。

研究不同子組的模型表現(xiàn)：這是根據(jù)人口普查信息預(yù)測對象年齡的回歸模型。該工具有助于展示模型在不同子組的相對表現(xiàn)，以及不同特點(diǎn)如何分別影響預(yù)測結(jié)果。該模型使用UCI 人口普查數(shù)據(jù)集進(jìn)行訓(xùn)練。

What-If 的實(shí)際應(yīng)用

我們與 Google 內(nèi)部團(tuán)隊(duì)一起測試了 What-If 工具的表現(xiàn)，從中看到這個(gè)工具的直接價(jià)值。有一個(gè)團(tuán)隊(duì)很快發(fā)現(xiàn)，他們的模型錯(cuò)誤地忽略了數(shù)據(jù)集的一個(gè)整體特點(diǎn)，進(jìn)而修復(fù)了之前并未發(fā)現(xiàn)的代碼錯(cuò)誤。另一個(gè)團(tuán)隊(duì)使用該工具將其示例按表現(xiàn)最佳到最差進(jìn)行直觀排列，進(jìn)而發(fā)現(xiàn)表現(xiàn)不佳的模型示例類型有何模式。我們希望 Google 內(nèi)部和外部的人士都能使用此工具，以更好地理解 ML 模型，并開始評估其公平性。此外，由于此代碼是開源的，我們歡迎大家為該工具的發(fā)展添磚加瓦。

致謝

What-If 是眾人合作的成果，其成功離不開 Mahima Pushkarna 設(shè)計(jì)的用戶體驗(yàn)，Jimbo Wilson 對 Facets 作出的更新，還有許多其他人提供的意見。我們想感謝測試此工具并提供寶貴反饋的 Google 團(tuán)隊(duì)，還要感謝 TensorBoard 團(tuán)隊(duì)的一切幫助。