編者按：還記得那個能自己寫詩的微軟小冰嗎？很多人看到小冰的詩之后驚嘆原來機器也有了創(chuàng)造力。最近，微軟亞洲研究院研發(fā)的DA-GAN技術(shù)讓機器繪畫創(chuàng)造也成為了可能，只要人們用文字描述一下自己想要的畫面，計算機便可以在幾毫秒之內(nèi)生成多個與描述吻合的形象。也許在不久的將來，DA-GAN技術(shù)將開啟一個人人都是創(chuàng)造者的時代。

創(chuàng)造力一直被認為是人類智能與人工智能最大的差別之一。然而隨著技術(shù)的發(fā)展，近年來人工智能在具有“創(chuàng)造性”的工作中不斷突破。之前微軟小冰寫詩，已經(jīng)讓大家驚嘆計算機在文字創(chuàng)作上的大幅提升，如今微軟亞洲研究院研發(fā)的DA-GAN技術(shù)，則將對今后的藝術(shù)創(chuàng)造模式產(chǎn)生重大影響。而關(guān)于DA-GAN的論文也已被CVPR 2018接收（點擊閱讀原文查看）。

當(dāng)人們用文字描述“我想要一只腹部、胸部為白色，頭頂灰色，翅膀有白色翅斑的小鳥”時，計算機便可以通過DA-GAN在幾毫秒的時間內(nèi)生成多個與文字描述高度吻合的形象（如下圖）。這些由計算機生成的鳥栩栩如生，完全符合人們期待的鳥的形象，不過它有可能是真實存在于現(xiàn)實世界中的，也有可能是系統(tǒng)根據(jù)鳥類特征和文字描述“創(chuàng)造”出來的一只“鳥”。

DA-GAN生成的“腹部、胸部為白色，頭頂灰色，翅膀有白色翅斑的鳥”（注意：該圖片中的鳥在現(xiàn)實世界中并不存在）

DA-GAN的最大創(chuàng)新——“隱空間”

DA-GAN研究團隊的技術(shù)突破得益于特征表達技術(shù)的發(fā)展。以往的特征表達工作，多是讓機器理解圖片并抽取特征，然后再對圖片進行分類；而DA-GAN則有些反向思維的意味，在提取圖片特征后，將特征在人類的視覺空間中還原出來。

以上文所列舉的鳥為例，系統(tǒng)首先要能夠根據(jù)現(xiàn)實世界的鳥，總結(jié)出鳥的結(jié)構(gòu)和特征，然后再根據(jù)用戶的需求，輸出他們所需要的鳥。之所以選擇鳥類作為研究對象，是因為鳥類的特征非常豐富，僅頭部就有幾十種特征，鳥類專家就是利用這些細微的差別來判斷鳥的種類，而特征豐富就意味著可以更好地去驗證模型的生成能力。

微軟亞洲研究院研究員傅建龍表示，“在訓(xùn)練DA-GAN系統(tǒng)時，我們先讓它‘見’過很多種類的鳥，就如同一個人認識了紅蘋果后，看到綠色的蘋果，也可以從它的外形中判斷出這是蘋果一樣。DA-GAN依據(jù)所接觸的鳥類圖片，學(xué)會了判斷鳥的經(jīng)驗性常識?！?/p>

與傳統(tǒng)的數(shù)據(jù)訓(xùn)練模式需要pair data（數(shù)據(jù)對）不同，DA-GAN不需要將文本與真實的鳥一一對應(yīng)，而是將原始圖片分割成不同的部分（暫稱該部分的樣本為T），例如頭部、身體、尾巴、姿勢等，不同的部分分別投射到一個“隱空間”（暫稱該部分的生成樣本為T’），然后通過大量的圖片訓(xùn)練，去驗證T-T’對應(yīng)的精確程度，也就是去不斷驗證該“隱空間”的好壞，從而不斷迭代，確保從T-T’的過程并非隨機產(chǎn)生，而是保持一定的規(guī)則，進而讓“隱空間”的模型逐步趨于完善。這個過程可謂是DA-GAN系統(tǒng)最為核心的創(chuàng)新所在，也是它能夠更加智能、真正具有舉一反三學(xué)習(xí)能力的關(guān)鍵點。

DA-GAN深度注意力編碼流程圖

接下來，DA-GAN就可以基于該模型創(chuàng)作用戶想要的鳥類了，正如文章開頭所描述的，輸入你的需求，一只栩栩如生的鳥就會相應(yīng)生成。它可能是一只自然界里真實存在的鳥，也可能是一只擁有A種鳥類的頭部特征、B種鳥類的身體特征、C種鳥類的尾部特征以及任意姿態(tài)的一只“想象中的鳥”，而在現(xiàn)實世界里并沒有這樣的鳥類，但它看上去就是一只真正的“鳥”。

（a） 文字到圖像生成 （b） 物體類別變換

傅建龍表示，“目前，我們只將鳥類分成了4個部分，這是我們計算出來的映射相對合理，同時系統(tǒng)代價較小的可行的方式。當(dāng)然也可以將鳥分為10個、30個部分，那樣模型會越來越精確，但系統(tǒng)代價可能也會成倍增加?！?/p>

開啟人人都是創(chuàng)造者的時代

除了鳥類，DA-GAN還可以用于任何與圖片相關(guān)的創(chuàng)作，例如此前風(fēng)行的基于真實人臉生成卡通人臉的小程序，其實大部分只是將紋理附著到了原始照片上，如果利用DA-GAN，則可以做得更像是藝術(shù)家的現(xiàn)場漫畫寫生，它可以是梵高風(fēng)格、莫奈風(fēng)格、漫畫風(fēng)格等等，用戶可以進行任意轉(zhuǎn)換。

對于DA-GAN來說，最重要的是早期的數(shù)據(jù)訓(xùn)練，圖片越多質(zhì)量越高。而且其分辨率已經(jīng)從其他相關(guān)技術(shù)能夠達到的64*64升級到了256*256，分辨率的提高，意味著圖片每個部分所包含的細節(jié)信息更加完善，也正因為細節(jié)的豐富，才使得DA-GAN的表現(xiàn)在與真實世界的對比中優(yōu)于同類技術(shù)。

與此同時，DA-GAN生成的眾多新的圖片，又可以反哺給該系統(tǒng)，從而讓它擁有更多的學(xué)習(xí)數(shù)據(jù)。也就是說，只要基于少量的原始數(shù)據(jù)，DA-GAN就可以產(chǎn)生更多“真實”的練習(xí)數(shù)據(jù)，大大改善某些領(lǐng)域真實數(shù)據(jù)缺乏的問題。利用DA-GAN的這一優(yōu)勢，研究團隊實現(xiàn)了業(yè)內(nèi)首次在鳥類數(shù)據(jù)集中增加生成數(shù)據(jù)，并將系統(tǒng)的準(zhǔn)確度提升了兩個百分點。

數(shù)據(jù)增強結(jié)果

姿態(tài)變換任務(wù) 圖中每組圖片的第一列是source，第二列是target，第三列是DA-GAN生成的鳥類：保持與第一列的鳥類類別一致，但具有第二列的鳥類姿態(tài)

在可觸摸的未來，或許，DA-GAN技術(shù)將開啟一個人人都是創(chuàng)造者的時代。只要你的需求輸入它能夠讀懂，哪怕是你腦海中幻想出來的物體和場景，它都能“畫”出來。而由DA-GAN所描繪出來的虛擬世界，可能一點都不比文學(xué)家、藝術(shù)家創(chuàng)作出來的場景遜色。

不僅如此，讓已經(jīng)滅絕的動植物，通過記載文字的描述重新躍然紙上；為安防領(lǐng)域提供更真實的犯罪嫌疑人畫像；幫助人們貼合自身的情況試穿網(wǎng)絡(luò)售賣的衣物等等，還有更多DA-GAN技術(shù)的應(yīng)用場景，等待大家去想象。同時，傅建龍也表示，未來隨著技術(shù)的不斷發(fā)展，更多可以生成逼真圖片和影像的技術(shù)將會誕生，如何辨別真?zhèn)我彩切枰蒲腥藛T以及大眾思考和解決的問題。