一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

當(dāng)前生成圖像最逼真的BigGAN被谷歌超越!造假效果更為逼真

傳感器技術(shù) ? 來源:楊湘祁 ? 作者:電子發(fā)燒友 ? 2019-03-11 15:28 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

當(dāng)前生成圖像最逼真的BigGAN被超越了!

出手的,是谷歌大腦和蘇黎世聯(lián)邦理工學(xué)院。他們提出了新一代GAN:S3GAN。

它們生成的照片,都是真假難辨。

下面這兩只蝴蝶,哪只更生動(dòng)?

兩張風(fēng)景照片,哪張更真實(shí)?

難以抉擇也正常,反正都是假的。上面的照騙,都是左邊出自S3GAN,右邊的出自BigGAN之手。

它們還有更多作品:

至于哪些是S3GAN,答案文末揭曉。

肉眼難分高下,就用數(shù)據(jù)說話。跑個(gè)FID(Frechet Inception Distance)得分,分值越低,就表示這些照騙,越接近人類認(rèn)識里的真實(shí)照片——

S3GAN是8.0分,而BigGAN是8.4分。新選手略微勝出。

你可還記得BigGAN問世之初,直接將圖像生成的逼真度提高了一個(gè)Level,引來Twitter上花樣贊賞?

如今它不止被超越,而且是被輕松超越。

“輕松”在哪呢?

S3GAN達(dá)到這么好的效果,只用了10%的人工標(biāo)注數(shù)據(jù)。而老前輩BigGAN,訓(xùn)練所用的數(shù)據(jù)100%是人工標(biāo)注過的。

如果用上20%的標(biāo)注數(shù)據(jù),S3GAN的效果又會(huì)更上一層樓。

標(biāo)注數(shù)據(jù)的缺乏,已經(jīng)是幫GAN提高生成能力,拓展使用場景的一大瓶頸。如今,這個(gè)瓶頸已經(jīng)幾乎被打破。

現(xiàn)在的S3GAN,只經(jīng)過了ImageNet的實(shí)驗(yàn),是實(shí)現(xiàn)用更少標(biāo)注數(shù)據(jù)訓(xùn)練生成高保真圖像的第一步。

接下來,作者們想要把這種技術(shù)應(yīng)用到“更大”和“更多樣化”的數(shù)據(jù)集中。

不用標(biāo)注那么多

為什么訓(xùn)練GAN生成圖像,需要大量數(shù)據(jù)標(biāo)注呢?

GAN有生成器、判別器兩大組件。

其中判別器要不停地識破假圖像,激勵(lì)生成器拿出更逼真的圖像。

而圖像的標(biāo)注,就是給判別器做判斷依據(jù)的。比如,這是真的貓,這是真的狗,這是真的漢堡……這是假圖。

可是,沒有那么多標(biāo)注數(shù)據(jù)怎么辦?

谷歌和ETH蘇黎世的研究人員,決定訓(xùn)練AI自己標(biāo)注圖像,給判別器食用。

自監(jiān)督 vs 半監(jiān)督

要讓判別器自己標(biāo)注圖像,有兩種方法。

一是自監(jiān)督方法,就是給判別器加一個(gè)特征提取器 (Feature Extractor) ,從沒有標(biāo)注的真實(shí)訓(xùn)練數(shù)據(jù)里面,學(xué)到它們的表征 (Feature Representation) 。

對這個(gè)表征做聚類 (Clustering) ,然后把聚類的分配結(jié)果,當(dāng)成標(biāo)注來用。

這里的訓(xùn)練,用的是自監(jiān)督損失函數(shù)。

二是半監(jiān)督方法,也要做特征提取器,但比上一種方法復(fù)雜一點(diǎn)點(diǎn)。

在訓(xùn)練集的一個(gè)子集已經(jīng)標(biāo)注過的情況下,根據(jù)這些已知信息來學(xué)習(xí)表征,同時(shí)訓(xùn)練一個(gè)線性分類器 (Linear Classifier) 。

這樣,損失函數(shù)會(huì)在自監(jiān)督的基礎(chǔ)上,再加一項(xiàng)半監(jiān)督的交叉熵?fù)p失 (Cross-Entropy Loss) 。

預(yù)訓(xùn)練了特征提取器,就可以拿去訓(xùn)練GAN了。這個(gè)用一小部分已知標(biāo)注養(yǎng)成的GAN,叫做S2GAN。

不過,預(yù)訓(xùn)練也不是唯一的方法。

想要雙管齊下,可以用協(xié)同訓(xùn)練 (Co-Training) :

直接在判別器的表征上面,訓(xùn)練一個(gè)半監(jiān)督的線性分類器,用來預(yù)測沒有標(biāo)注的圖像。這個(gè)過程,和GAN的訓(xùn)練一同進(jìn)行。

這樣就有了S2GAN的協(xié)同版,叫S2GAN-CO。

升級一波

然后,團(tuán)隊(duì)還想讓S2GAN變得更強(qiáng)大,就在GAN訓(xùn)練的穩(wěn)定性上面花了心思。

研究人員說,判別器自己就是一個(gè)分類器嘛,如果把這個(gè)分類器擴(kuò)增 (Augmentation) 一下,可能療效上佳。

于是,他們給了分類器一個(gè)額外的自監(jiān)督任務(wù),就是為旋轉(zhuǎn)擴(kuò)增過的訓(xùn)練集 (包括真圖和假圖) ,做個(gè)預(yù)測。

再把這個(gè)步驟,和前面的半監(jiān)督模型結(jié)合起來,GAN的訓(xùn)練變得更加穩(wěn)定,就有了升級版S3GAN:

架構(gòu)脫胎于BigGAN

不管是S2GAN還是S3GAN,都借用了前輩BigGAN的網(wǎng)絡(luò)架構(gòu),用的優(yōu)化超參數(shù)也和前輩一樣。

不同的是,這個(gè)研究中,沒有使用正交正則化 (Orthogonal Regularization) ,也沒有使用截?cái)?(Truncation) 技巧。

△BigGAN的生成器和鑒別器架構(gòu)圖

訓(xùn)練的數(shù)據(jù)集,來自ImageNet,其中有130萬訓(xùn)練圖像和5萬測試圖像,圖像中共有1000個(gè)類別。

圖像尺寸被調(diào)整成了128×128×3,在每個(gè)類別中隨機(jī)選擇k%的樣本,來獲取半監(jiān)督方法中的使用的部分標(biāo)注數(shù)據(jù)集。

最后,在128核的Google TPU v3 Pod進(jìn)行訓(xùn)練。

超越BigGAN

研究對比的基線,是DeepMind的BigGAN,當(dāng)前記錄的保持者,F(xiàn)ID得分為7.4。

不過,他們在ImageNet上自己實(shí)現(xiàn)的BigGAN,F(xiàn)ID為8.4,IS為75,并以此作為了標(biāo)準(zhǔn)。

在這個(gè)圖表中,S2GAN是半監(jiān)督的預(yù)訓(xùn)練方法。S2GAN-CO是半監(jiān)督的協(xié)同訓(xùn)練方法。

S3GAN,是S2GAN加上一個(gè)自監(jiān)督的線性分類器 (把數(shù)據(jù)集旋轉(zhuǎn)擴(kuò)增之后再拿給它分類) 。

其中,效果最好的是S3GAN,只使用10%由人工標(biāo)注的數(shù)據(jù),F(xiàn)ID得分達(dá)到8.0,IS得分為78.7,表現(xiàn)均優(yōu)于BigGAN。

如果你對這項(xiàng)研究感興趣,請收好傳送門:

論文:

High-Fidelity Image Generation With Fewer Labels

https://arxiv.org/abs/1903.02271

文章開頭的這些照騙展示,就出自論文之中:

第一行是BigGAN作品,第二行是S3GAN新品,你猜對了嗎?

另外,他們還在GitHub上開源了論文中實(shí)驗(yàn)所用全部代碼:

https://github.com/google/compare_gan

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 谷歌
    +關(guān)注

    關(guān)注

    27

    文章

    6231

    瀏覽量

    108103
  • 圖像
    +關(guān)注

    關(guān)注

    2

    文章

    1094

    瀏覽量

    41237

原文標(biāo)題:史上最強(qiáng)GAN被谷歌超越!標(biāo)注數(shù)據(jù)少用90%,造假效果卻更逼真

文章出處:【微信號:WW_CGQJS,微信公眾號:傳感器技術(shù)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    利用NVIDIA 3D引導(dǎo)生成式AI Blueprint控制圖像生成

    AI 賦能的圖像生成技術(shù)突飛猛進(jìn),從早期模型會(huì)生成手指過多的人類圖像,到現(xiàn)在能創(chuàng)造出令人驚嘆的逼真視覺
    的頭像 發(fā)表于 06-05 09:24 ?379次閱讀

    技術(shù)分享 | 高逼真合成數(shù)據(jù)助力智駕“看得更準(zhǔn)、學(xué)得更快”

    自動(dòng)駕駛研發(fā)如何高效獲取海量訓(xùn)練數(shù)據(jù)?高逼真合成數(shù)據(jù)技術(shù)正在提供新解法。通過仿真平臺(tái)可生成多場景、多傳感器的精準(zhǔn)標(biāo)注數(shù)據(jù)。文章詳解如何構(gòu)建符合nuScenes標(biāo)準(zhǔn)的數(shù)據(jù)集,覆蓋復(fù)雜交通場景,為感知模型訓(xùn)練提供高效、可控的數(shù)據(jù)支持。
    的頭像 發(fā)表于 04-29 10:47 ?2887次閱讀
    技術(shù)分享 | 高<b class='flag-5'>逼真</b>合成數(shù)據(jù)助力智駕“看得更準(zhǔn)、學(xué)得更快”

    如何使用離線工具od SPSDK生成完整圖像?

    SDSDK)會(huì)生成一個(gè)缺少前 4KB 的文件。 這些將由 flashloader 直接在目標(biāo)上填充,使用將要傳達(dá)給它的參數(shù),對吧? 我需要離線工作。我需要生成一個(gè) “完整圖像”,但無法訪問目標(biāo)。 我該怎么做?
    發(fā)表于 03-28 06:51

    ?Diffusion生成式動(dòng)作引擎技術(shù)解析

    Diffusion生成式動(dòng)作引擎 Diffusion生成式動(dòng)作引擎是一種基于擴(kuò)散模型(Diffusion Models)的生成式人工智能技術(shù),專注于生成連續(xù)、
    的頭像 發(fā)表于 03-17 15:14 ?1800次閱讀

    碩博電子SPD-043-Ex系列顯示屏介紹

    SPD-043-Ex系列顯示屏采用4.3英寸24位彩屏,呈現(xiàn)鮮艷逼真的色彩效果,滿足用戶對高品質(zhì)視覺體驗(yàn)的需求。
    的頭像 發(fā)表于 03-03 15:05 ?550次閱讀

    DeepSeek用戶量超越谷歌Gemini

    在聊天AI領(lǐng)域的競爭中,中國AI產(chǎn)品DeepSeek展現(xiàn)出了強(qiáng)勁的增長勢頭。據(jù)最新數(shù)據(jù)顯示,1月底,DeepSeek的用戶量已經(jīng)成功超越谷歌的Gemini。 具體來看,1月31日這一天
    的頭像 發(fā)表于 02-07 14:59 ?536次閱讀

    谷歌CEO:Gemini AI技術(shù)超越競品,目標(biāo)年底5億用戶

    近日,谷歌CEO皮查伊近期向員工傳達(dá)了他對公司Gemini AI技術(shù)的信心。據(jù)悉,皮查伊認(rèn)為Gemini的能力已經(jīng)超越當(dāng)前的競爭對手。 皮查伊表示,他期望到今年年底,全球能有5億人
    的頭像 發(fā)表于 01-17 10:37 ?552次閱讀

    阿里云通義萬相2.1視頻生成模型震撼發(fā)布

    。在復(fù)雜運(yùn)動(dòng)的表現(xiàn)上,該模型能夠生成更加流暢、自然的視頻內(nèi)容,使得生成的視頻在動(dòng)態(tài)效果上更加逼真。同時(shí),在物理規(guī)律的遵循方面,萬相2.1也展現(xiàn)出了出色的能力,能夠確保
    的頭像 發(fā)表于 01-13 10:00 ?823次閱讀

    借助谷歌Gemini和Imagen模型生成高質(zhì)量圖像

    在快速發(fā)展的生成式 AI 領(lǐng)域,結(jié)合不同模型的優(yōu)勢可以帶來顯著的成果。通過利用谷歌的 Gemini 模型來制作詳細(xì)且富有創(chuàng)意的提示,然后使用 Imagen 3 模型根據(jù)這些提示生成高質(zhì)量的圖像
    的頭像 發(fā)表于 01-03 10:38 ?890次閱讀
    借助<b class='flag-5'>谷歌</b>Gemini和Imagen模型<b class='flag-5'>生成</b>高質(zhì)量<b class='flag-5'>圖像</b>

    堅(jiān)米智能借助NVIDIA Isaac Lab加速四足機(jī)器人開發(fā)

    堅(jiān)米智能(中堅(jiān)科技)借助NVIDIA Isaac Lab平臺(tái),通過NVIDIA Isaac Sim的 3D 生成與建模技術(shù)構(gòu)建高度逼真的虛擬場景,將現(xiàn)實(shí)世界的復(fù)雜場景抽象并轉(zhuǎn)化為高質(zhì)量的訓(xùn)練數(shù)據(jù)源,從而更有效地滿足模型的多樣化訓(xùn)練需求。
    的頭像 發(fā)表于 12-29 14:01 ?1193次閱讀

    谷歌與三星聯(lián)合發(fā)布Android XR操作系統(tǒng)

    谷歌與三星近日攜手宣布,共同推出了全新的操作系統(tǒng)——Android XR。這一系統(tǒng)專為頭戴式裝置和智能眼鏡等下一代計(jì)算設(shè)備提供技術(shù)支持,旨在為用戶帶來更為豐富、沉浸式的體驗(yàn)。 Android XR
    的頭像 發(fā)表于 12-16 10:08 ?581次閱讀

    AI智能體逼真模擬人類行為

    近日,據(jù)外媒最新報(bào)道,斯坦福大學(xué)、華盛頓大學(xué)與Google DeepMind的科研團(tuán)隊(duì)攜手合作,成功開發(fā)出一種能夠高度逼真模擬人類行為的AI智能體。 該智能體的構(gòu)建得益于研究團(tuán)隊(duì)將詳細(xì)的訪談?dòng)涗?/div>
    的頭像 發(fā)表于 11-26 10:24 ?852次閱讀

    Freepik攜手Magnific AI推出AI圖像生成

    近日,設(shè)計(jì)資源巨頭Freepik攜手Magnific AI,共同推出了革命性的AI圖像生成器——Freepik Mystic,這一里程碑式的發(fā)布標(biāo)志著AI圖像創(chuàng)作領(lǐng)域邁入了一個(gè)全新的高度
    的頭像 發(fā)表于 08-30 16:23 ?1579次閱讀

    Style3D亮相SIGGRAPH 2024并發(fā)表精彩演講

    人工智能技術(shù)與圖形學(xué)融合收到了極大關(guān)注,如NVIDIA Research就有20余篇論文入選,這些研究成果將適用于視覺生成式AI的擴(kuò)散模型、基于物理的仿真以及日益逼真的AI渲染,為訓(xùn)練下一代模型提供助力。
    的頭像 發(fā)表于 08-02 16:01 ?628次閱讀
    Style3D亮相SIGGRAPH 2024并發(fā)表精彩演講

    居然還有這樣的10.1寸光場裸眼3D視覺訓(xùn)練平板電腦?

    在這個(gè)科技飛速發(fā)展的時(shí)代,我們?yōu)槟鷰砹艘豢罡锩缘漠a(chǎn)品——10.1寸光場裸眼3D視覺訓(xùn)練平板電腦。這款平板電腦不僅讓您無需佩戴3D眼鏡就能享受逼真的立體視覺效果,還通過先進(jìn)的技術(shù)幫助您緩解眼疲勞,提升視覺健康。
    的頭像 發(fā)表于 07-25 14:09 ?596次閱讀
    居然還有這樣的10.1寸光場裸眼3D視覺訓(xùn)練平板電腦?