場(chǎng)景描述：風(fēng)靡各大直播平臺(tái)的美妝博主，憑借高超的化妝技術(shù)吸金無(wú)數(shù)。而人工智能也已經(jīng)開(kāi)始學(xué)習(xí)這一本領(lǐng)。利用深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)技術(shù)，僅僅根據(jù)人的眼睛特征，就能給出適合用戶的美妝搭配。

關(guān)鍵詞：幾何變換 triplet 損失函數(shù) 遷移學(xué)習(xí)

近年來(lái)，網(wǎng)絡(luò)上涌現(xiàn)出越來(lái)越多的美妝博主，他們講解美妝技巧，分享化妝品試用效果，以此積累粉絲，與商家合作銷售產(chǎn)品。

比如，前段時(shí)間大火的李佳琦，被稱為「口紅魔鬼」的美妝博主。他曾瘋狂地在一次直播中一口氣試了380 種口紅色號(hào)，并創(chuàng)下一分鐘內(nèi)售出14,000 支口紅的紀(jì)錄。

然而，很多愛(ài)化妝的妹子應(yīng)該早有領(lǐng)悟，明明買了和博主一模一樣的口紅，可畫(huà)出來(lái)效果卻不一樣?？吹健咐罴宴箓?cè)囉玫纳?hào)很美很仙很貴氣，可到了自己嘴上怎么就……

口紅界的「賣家秀」和「買家秀」

沒(méi)錯(cuò)，正是因?yàn)槊總€(gè)人的臉型、膚色、唇形等等都不一樣，才導(dǎo)致了「賣家秀」和「買家秀」的結(jié)果。

那么問(wèn)題來(lái)了，怎樣才能知道最適合自己的美妝產(chǎn)品是哪款呢？一個(gè)叫做 Mira 的公司給出的答案是：用深度學(xué)習(xí)。

深度學(xué)習(xí)也愛(ài)美妝

許多人印象中，人工智能、深度學(xué)習(xí)這些名詞和美妝應(yīng)該八竿子打不著關(guān)系，但位于美國(guó)洛杉磯的創(chuàng)企 Mira 可不這么想。

這家公司決定用人工智能技術(shù)幫助廣大愛(ài)美女士，比如獲取化妝靈感，購(gòu)買合適的美妝產(chǎn)品等。

美妝前后，效果堪比換臉

在隨機(jī)和數(shù)十位美妝人士詳聊后，Mira 團(tuán)隊(duì)了解到，目前女性消費(fèi)者在尋找合適的化妝產(chǎn)品和美妝方法時(shí)，遇到的最大困難是，沒(méi)有權(quán)威且可信的聲音能針對(duì)她們個(gè)人的美容需求做出指導(dǎo)。

在本文我們就聊聊 Mira 的技術(shù)團(tuán)隊(duì)如何用深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)技術(shù)發(fā)現(xiàn)切中這個(gè)問(wèn)題要害的實(shí)例：找到講解人類具體眼型和面部膚色的美妝大咖、圖片和視頻等信息。

沿著這種方式， Mira 團(tuán)隊(duì)借助三個(gè)簡(jiǎn)單但強(qiáng)大的知識(shí)——幾何變換、triplet 損失函數(shù)和遷移學(xué)習(xí)，只用最小限度的人類輸入數(shù)據(jù)就能解決種種困難的美妝推斷問(wèn)題。

AI 幫你選擇最合適的眼妝

眼部分類示意圖

愛(ài)化妝的女士都知道，找到適合自己眼睛的美妝產(chǎn)品和方法是很困難的——每個(gè)人的眼型和面部膚色都不一樣。

即便是同一種眼妝（比如煙熏妝），根據(jù)眼型不同，所用的化妝方法也大不相同。

雖然像 Birchbox 等推出了一些有用的化妝指南，但 Mira 團(tuán)隊(duì)經(jīng)過(guò)調(diào)查發(fā)現(xiàn)，美妝愛(ài)好者們通常還是喜歡聽(tīng)聽(tīng)專業(yè)且可信的建議，尤其是和自己眼型相似的人的化妝建議，她們對(duì)這些建議的重視程度甚至都超過(guò)了美容專家的意見(jiàn)。

利用人工智能技術(shù)，現(xiàn)在我們根據(jù)自己的眼部特征，以及自己其它獨(dú)特的面部特征，就能讓自己知道怎么化妝、買什么化妝品。

AI 美妝第一步：尋找相似性

我們把問(wèn)題形式化一下：根據(jù)一組面部照片，以及少許數(shù)量的人工標(biāo)記的照片（標(biāo)記了眼睛顏色、眼瞼形狀等），找到兩個(gè)眼睛之間的視覺(jué)相似性度量（《紅樓夢(mèng)》中「這個(gè)妹妹我曾見(jiàn)過(guò)的」就是這個(gè)意思）。然后用分類器捕捉人工標(biāo)記的屬性。

本文先重點(diǎn)講解如何確定眼睛之間的相似度，后面會(huì)詳細(xì)解釋如何進(jìn)行分類任務(wù)。

原始圖像并不是很適合計(jì)算視覺(jué)相似性或者進(jìn)行分類任務(wù)。因?yàn)樗鼈儼暮芏嘞嗨菩远际潜砻嫔系模ū热绠?huà)的妝很相似，由于強(qiáng)光才造成膚色看起來(lái)不同）。

而這些和人物真正的眼部結(jié)構(gòu)及面部膚色并沒(méi)有關(guān)系。而且，原始圖像一般都處于高維空間，這就需要大量的有標(biāo)記訓(xùn)練數(shù)據(jù)用于分類任務(wù)。

如上圖，如果僅直接比較圖像像素，人物的眼睛都高度相似，但仔細(xì)注意會(huì)發(fā)現(xiàn)，雖然人物的眼影、光線和視線方向一致，但她們的眼睛顏色和面部膚色卻各不相同。

處理原始圖像的困難所在：雖然上圖兩人的眼睛大不相同，但初始數(shù)據(jù)比較起來(lái)卻很相似

那么 Mira 的首要任務(wù)就是：要獲得眼部照片的低維和密集的數(shù)學(xué)表達(dá)形式，也就是我們所說(shuō)的「嵌套」（embeddings）。

它只會(huì)捕捉任務(wù)所需的圖像品質(zhì)（嵌套是一種分類特征，以連續(xù)值特征表示。通常，嵌套是指將高維度向量映射到低維度的空間。）這樣一來(lái)，「嵌套」應(yīng)當(dāng)忽略這些信息：

眼睛姿勢(shì)/視線方向

具體的光線狀況（當(dāng)然還有強(qiáng)大的濾鏡這些）

不管是臉部畫(huà)了什么樣的妝

當(dāng)用三重函數(shù)訓(xùn)練眼睛嵌入時(shí)，系統(tǒng)學(xué)會(huì)了忽略不相關(guān)特征

AI 美妝第二步：投影變換進(jìn)行圖像歸一化

我們可以通過(guò)一個(gè)簡(jiǎn)單的預(yù)處理步驟——投影變化刪除一整個(gè)類別的表面相似性。

雖然裁減過(guò)的眼部照片會(huì)出現(xiàn)很多明顯的結(jié)構(gòu)性差異（比如眼睛不在照片中心，或者由于頭部?jī)A斜的原因出現(xiàn)旋轉(zhuǎn)等），但投影變化能讓我們「扭曲」照片，這樣就能保證相同的眼部標(biāo)志處于相同的坐標(biāo)。

借助一丁點(diǎn)的線性代數(shù)原理，我們就可以將一張圖像「扭曲」，這樣一組點(diǎn)會(huì)映射為一個(gè)新的理想的形狀。旋轉(zhuǎn)和拉伸圖像的過(guò)程如下所示：

使用投影變化，可以將上面的圖像進(jìn)行扭曲處理，上圖中的 4 個(gè)紅點(diǎn)會(huì)組成一個(gè)矩形，從而將紅點(diǎn)圍住的文本「拉直」。Mira 團(tuán)隊(duì)在將眼部照片進(jìn)行正?；幚頃r(shí)，應(yīng)用了同樣的方法。

研究人員接用 dlib 檢測(cè)出臉部標(biāo)記（如果你對(duì) dlib 感興趣，可以在以下鏈接中了解：http://blog.dlib.net/2014/08/real-time-face-pose-estimation.html）。

剪裁照片中的眼部部位，將其「扭曲」處理，確保它們對(duì)齊和一致。這步操作能讓他們專注于讓「嵌套」不受人物頭部姿勢(shì)和傾斜角度的影響。

接著進(jìn)行圖像歸一化：檢測(cè)出面部標(biāo)志，剪裁眼部圖像，然后用投影轉(zhuǎn)換將眼部圖像「扭曲」至標(biāo)準(zhǔn)位置。

圖像預(yù)處理流程中的圖像樣本

AI 美妝第三步：用 triplet 損失函數(shù)進(jìn)行表示學(xué)習(xí)

「扭曲」處理后的圖像進(jìn)行直接比較時(shí)，仍會(huì)表現(xiàn)出一些表面相似性，包括視線方向和相似的化妝等。深度學(xué)習(xí)技術(shù)就是解決這個(gè)問(wèn)題的藥方。

研究人員訓(xùn)練了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，用眼部照片輸入它后會(huì)輸出向量，相比不同人之間，同一個(gè)人眼部照片輸出的向量更具相似性。神經(jīng)網(wǎng)絡(luò)會(huì)學(xué)習(xí)輸出每個(gè)人眼在不同環(huán)境下的穩(wěn)定持續(xù)的表示形式。

當(dāng)然，這里所以靠的正是前面所說(shuō)的triplet 損失函數(shù)，其公式如下所示：

這詳細(xì)說(shuō)明了當(dāng)函數(shù)將具體個(gè)體（錨點(diǎn)和正樣本）的兩個(gè)「嵌套」放置的位置比錨點(diǎn)和無(wú)關(guān)個(gè)體（負(fù)樣本）的位置更近時(shí)，模型的損失和優(yōu)化目標(biāo)會(huì)遞減。

模型架構(gòu)示意圖

當(dāng)研究人員將眼部照片應(yīng)用到模型中時(shí)，他們發(fā)現(xiàn)生成的「嵌套」很好地指出了具有相似眼部結(jié)構(gòu)和面部膚色的兩張照片。

眼部嵌套相似的照片示例

這里所用的方法其實(shí)和谷歌的FaceNet 很像，也就是通過(guò)對(duì)照片進(jìn)行「扭曲」和一致性處理，應(yīng)用 triplet 損失函數(shù)，生成臉部級(jí)別的圖像嵌套。

AI 美妝第四步：合并嵌套

研究人員對(duì)生成的嵌套進(jìn)行了簡(jiǎn)單調(diào)試，讓其同樣適用于支持人級(jí)（Person-level）的眼部表示——提取出每個(gè)幀的全部噪聲數(shù)據(jù)。

通過(guò)使用上面神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練權(quán)重，研究人員又采用了新的損失函數(shù)，該函數(shù)將多組嵌套的平均值放在極為相近的位置（相對(duì)于無(wú)關(guān)個(gè)體），如下所示：

使用先前神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練權(quán)重，研究人員可以讓網(wǎng)絡(luò)能夠以求平均值的方式將眼部嵌套合并在一起，能看到模型快速收斂。這個(gè)過(guò)程就是常說(shuō)的遷移學(xué)習(xí)。

遷移學(xué)習(xí)讓嵌套能夠合并為一個(gè)個(gè)體眼睛的更為整體的表示。雖然此時(shí)神經(jīng)網(wǎng)絡(luò)架構(gòu)非常復(fù)雜了，但模型由于采用了遷移學(xué)習(xí)的原因能夠快速收斂。

最終，研究人員用數(shù)據(jù)集對(duì)模型進(jìn)行了驗(yàn)證，發(fā)現(xiàn)模型生成的嵌套能夠捕捉個(gè)體之間的很細(xì)微的相似性，如下所示：

每一行人物的眼部嵌套之間非常相似

看你一眼，就給出完美妝容建議

通過(guò)獲得單張照片中人眼的高質(zhì)量數(shù)學(xué)表示，研究人員就能找出人物眼睛構(gòu)造的相似性，這就為只根據(jù)人的眼睛，為他/她匹配合適的眼妝風(fēng)格打下了基礎(chǔ)。

Mira 技術(shù)團(tuán)隊(duì)表示接下來(lái)的任務(wù)是應(yīng)用幾種監(jiān)督式學(xué)習(xí)方法（分類眼型、回歸眼睛顏色等），以及一些分析方法，搭建出能為人們提供化妝建議的 AI 模型。

也就是說(shuō)，未來(lái)，妹子們不必再發(fā)愁畫(huà)什么樣的妝最適合自己的眼睛和膚色了，更不必機(jī)械地參考標(biāo)準(zhǔn)化妝指南和美妝博主試色效果，AI 會(huì)為你推薦更適合你自己的美妝術(shù)。

如此一來(lái)，美妝博主們恐怕要被搶飯碗了？不過(guò)，李佳琦也不用再那么辛苦地，在一次直播中試色 380 次了。

注：本文所有代碼和結(jié)果的實(shí)現(xiàn)用到了 NumPy，SciPy，Matplotlib，Chainer，dlib 和 SqueezeNet 架構(gòu)。

超神經(jīng)百科

遷移學(xué)習(xí)

遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，就是把為任務(wù) A 開(kāi)發(fā)的模型作為初始點(diǎn)，重新使用在為任務(wù) B 開(kāi)發(fā)模型的過(guò)程中。

深度學(xué)習(xí)中，在計(jì)算機(jī)視覺(jué)任務(wù)和自然語(yǔ)言處理任務(wù)中，將預(yù)訓(xùn)練的模型作為新模型的起點(diǎn)是一種常用的方法，通常這些預(yù)訓(xùn)練的模型在開(kāi)發(fā)神經(jīng)網(wǎng)絡(luò)的時(shí)候已經(jīng)消耗了巨大的時(shí)間資源和計(jì)算資源，遷移學(xué)習(xí)可以將已習(xí)得的強(qiáng)大技能遷移到相關(guān)的的問(wèn)題上。

以下是兩個(gè)常用的方法：

1. 開(kāi)發(fā)模型的方法

2. 預(yù)訓(xùn)練模型的方法