一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

谷歌Transformer大進化 機翻最強王者上線

DR2b_Aiobservat ? 來源:yxw ? 2019-06-18 10:26 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

谷歌Evolved Transformer通過AutoML技術(shù)進行特定任務定制,在編碼器和解碼器模塊底部的卷積層以分支模式運行,提高了語言建模的性能,目前在機器翻譯領(lǐng)域可以達到最先進的結(jié)果。

Transformer是一種AI架構(gòu),最早是在2017年Google的科學家合著的論文《Attention Is All You Need》中介紹的,它比較擅長撰寫散文和產(chǎn)品評論、合成聲音、以古典作曲家的風格制作和聲。

但是,谷歌的一個研究小組認為它可以更進一步使用AutoML技術(shù),根據(jù)特定任務進行定制翻譯。在一篇新發(fā)表的論文和博客中,研究人員描述了工作成果:與原始的Transformer相比,現(xiàn)在的Transformer既達到了最先進的翻譯結(jié)果,也提高了語言建模的性能。

目前,他們已經(jīng)發(fā)布了新的模型Evolved Transformer——開放源代碼的AI模型和數(shù)據(jù)集庫,來作為Tensor2Tensor(谷歌基于tensorflow新開源的深度學習庫,該庫將深度學習所需要的元素封裝成標準化的統(tǒng)一接口,在使用其做模型訓練時可以更加的靈活)的一部分。

一般意義上,AutoML方法是從控制器訓練和評估質(zhì)量的隨機模型庫開始,該過程重復數(shù)千次,每次都會產(chǎn)生新的經(jīng)過審查的機器學習架構(gòu),控制器可以從中學習。最終,控制器開始為模型組件分配高概率,以便這些組件在驗證數(shù)據(jù)集上更加準確,而評分差的區(qū)域則獲得較低的概率。

研究人員稱,使用AutoML發(fā)現(xiàn)Evolved Transformer需要開發(fā)兩種新技術(shù),因為用于評估每種架構(gòu)性能的任務WMT'14英德語翻譯的計算成本很高。

第一種是通過暖啟動(warm starting)的方式,將初始模型填充為Transformer架構(gòu)進行播種,而不采用隨機模型,有助于實現(xiàn)搜索。第二種漸進式動態(tài)障礙(PDH)則增強了搜索功能,以便將更多的資源分配給能力最強的候選對象,若模型“明顯不良”,PDH就會終止評估,重新分配資源。

通過這兩種技術(shù),研究人員在機器翻譯上進行大規(guī)模NAS,最終找到了Evolved Transformer。

(Evolved Transformer架構(gòu))

那么Evolved Transformer有什么特別之處呢?

與所有深度神經(jīng)網(wǎng)絡一樣,Evolved Transformer包含神經(jīng)元(函數(shù)),這些神經(jīng)元從輸入數(shù)據(jù)中傳輸“信號,并緩慢調(diào)整每個連接的突觸強度(權(quán)重),這是模型提取特征和學習進行預測的方式。此外,Evolved Transformer還能使每個輸出元件連接到每個輸入元件,并且動態(tài)地計算它們之間的權(quán)重。

與大多數(shù)序列到序列模型一樣,Evolved Transformer包含一個編碼器,它將輸入數(shù)據(jù)(翻譯任務中的句子)編碼為嵌入(數(shù)學表示)和一個解碼器,同時使用這些嵌入來構(gòu)造輸出(翻譯)。

但研究人員也指出,Evolved Transformer也有一些部分與傳統(tǒng)模型不同:在編碼器和解碼器模塊底部的卷積層以分支模式運行,即在合并到一起時,輸入需要通過兩個單獨的的卷積層。

雖然最初的Transformer僅僅依賴于注意力,但Evolved Transformer是一種利用自我關(guān)注和廣泛卷積的優(yōu)勢的混合體。

(原始Transforme與Evolved Transformer的性能對比)

在測試中,研究人員將Evolved Transformer與原始Transformer在模型搜索期間使用的英德翻譯任務進行了比較,發(fā)現(xiàn)前者在BLEU(評估機器翻譯文本質(zhì)量的算法)和Perplexity(衡量概率分布預測樣本的程度)上性能更好。

在較大的數(shù)據(jù)中,Evolved Transformer達到了最先進的性能,BLEU得分為29.8分。在涉及不同語言對和語言建模的翻譯實驗中,Evolved Transformer相比于原始Transformer的性能提升了兩個Perplexity。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 谷歌
    +關(guān)注

    關(guān)注

    27

    文章

    6231

    瀏覽量

    108075
  • AI
    AI
    +關(guān)注

    關(guān)注

    88

    文章

    35041

    瀏覽量

    279220
  • 機器翻譯
    +關(guān)注

    關(guān)注

    0

    文章

    140

    瀏覽量

    15190
  • Transformer
    +關(guān)注

    關(guān)注

    0

    文章

    151

    瀏覽量

    6506

原文標題:谷歌Transformer大進化,機翻最強王者上線

文章出處:【微信號:Aiobservation,微信公眾號:人工智能觀察】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    Transformer架構(gòu)中編碼器的工作流程

    編碼器是Transformer體系結(jié)構(gòu)的基本組件。編碼器的主要功能是將輸入標記轉(zhuǎn)換為上下文表示。與早期獨立處理token的模型不同,Transformer編碼器根據(jù)整個序列捕獲每個token的上下文。
    的頭像 發(fā)表于 06-10 14:27 ?270次閱讀
    <b class='flag-5'>Transformer</b>架構(gòu)中編碼器的工作流程

    Transformer架構(gòu)概述

    由于Transformer模型的出現(xiàn)和快速發(fā)展,深度學習領(lǐng)域正在經(jīng)歷一場翻天覆地的變化。這些突破性的架構(gòu)不僅重新定義了自然語言處理(NLP)的標準,而且拓寬了視野,徹底改變了AI的許多方面。
    的頭像 發(fā)表于 06-10 14:24 ?330次閱讀
    <b class='flag-5'>Transformer</b>架構(gòu)概述

    日立建MES制造執(zhí)行系統(tǒng)正式上線

    日前,日立建(中國)有限公司MES制造執(zhí)行系統(tǒng)上線動員大會在安徽合肥隆重召開。日立建中國區(qū)管理層、項目關(guān)鍵用戶及湃??萍柬椖繄F隊共同出席了本次會議。系統(tǒng)于2025年5月20日正式運行,開啟智能管理新征程。
    的頭像 發(fā)表于 06-04 14:10 ?377次閱讀

    快手上線鴻蒙應用高性能解決方案:數(shù)據(jù)反序列化性能提升90%

    近日,快手在Gitee平臺上線了鴻蒙應用性能優(yōu)化解決方案“QuickTransformer”,該方案針對鴻蒙應用開發(fā)中廣泛使用的三方庫“class-transformer”進行了深度優(yōu)化,有效提升
    發(fā)表于 05-15 10:01

    快手上線鴻蒙應用高性能解決方案

    近日,快手在Gitee平臺上線了鴻蒙應用性能優(yōu)化解決方案“QuickTransformer”,該方案針對鴻蒙應用開發(fā)中廣泛使用的三方庫“class-transformer”進行了深度優(yōu)化,有效提升
    的頭像 發(fā)表于 05-14 09:11 ?496次閱讀
    快手<b class='flag-5'>上線</b>鴻蒙應用高性能解決方案

    集特17.3英寸上式加固工業(yè)便攜GDC-7001

    在工業(yè)自動化、移動辦公及特殊環(huán)境作業(yè)領(lǐng)域,對設(shè)備的便攜性、耐用性和性能提出了更高要求。集特智能推出的GDC-7001上式加固工業(yè)便攜,憑借其高可靠性、靈活配置及國產(chǎn)化技術(shù)生態(tài),成為國產(chǎn)工業(yè)計算設(shè)備中的標桿產(chǎn)品。以下從設(shè)計、性能、應用場景等多維度展開介紹。
    的頭像 發(fā)表于 02-18 16:44 ?357次閱讀

    如何使用MATLAB構(gòu)建Transformer模型

    Transformer 模型在 2017 年由 Vaswani 等人在論文《Attentionis All You Need》中首次提出。其設(shè)計初衷是為了解決自然語言處理(Nature
    的頭像 發(fā)表于 02-06 10:21 ?3996次閱讀
    如何使用MATLAB構(gòu)建<b class='flag-5'>Transformer</b>模型

    transformer專用ASIC芯片Sohu說明

    2022年,我們打賭說transformer會統(tǒng)治世界。 我們花了兩年時間打造Sohu,這是世界上第一個用于transformer(ChatGPT中的“T”)的專用芯片。 將transformer
    的頭像 發(fā)表于 01-06 09:13 ?1143次閱讀
    <b class='flag-5'>transformer</b>專用ASIC芯片Sohu說明

    AI眼鏡形態(tài)席卷可穿戴市場!谷歌眼鏡幾次“流產(chǎn)”,將靠AI

    ? 電子發(fā)燒友網(wǎng)報道(文/莫婷婷)在ChatGPT進化史上,繞不開的一家廠商是谷歌。2024年12月,谷歌發(fā)布 Gemini 2.0,該產(chǎn)品被稱為登頂AI巔峰、秒殺ChatGPT O1。始終走在AI
    的頭像 發(fā)表于 12-26 00:12 ?3601次閱讀

    Transformer模型的具體應用

    如果想在 AI 領(lǐng)域引領(lǐng)一輪新浪潮,就需要使用到 Transformer。
    的頭像 發(fā)表于 11-20 09:28 ?1550次閱讀
    <b class='flag-5'>Transformer</b>模型的具體應用

    Transformer模型能夠做什么

    盡管名為 Transformer,但它們不是電視銀幕上的變形金剛,也不是電線桿上垃圾桶大小的變壓器。
    的頭像 發(fā)表于 11-20 09:27 ?1004次閱讀
    <b class='flag-5'>Transformer</b>模型能夠做什么

    自動駕駛中一直說的BEV+Transformer到底是個啥?

    在很多車企的自動駕駛介紹中,都會聽到一個關(guān)鍵技術(shù),那就是BEV+Transformer,那BEV+Transformer到底是個啥?為什么很多車企在自動駕駛技術(shù)中都十分追捧這項技術(shù)?其實“BEV
    的頭像 發(fā)表于 11-07 11:19 ?1363次閱讀
    自動駕駛中一直說的BEV+<b class='flag-5'>Transformer</b>到底是個啥?

    英偉達推出歸一化Transformer,革命性提升LLM訓練速度

    了新的突破。 相較于傳統(tǒng)的Transformer架構(gòu),nGPT在保持原有精度的同時,直接將大型語言模型(LLM)的訓練速度提升了高達20倍。這一顯著的性能提升,無疑將極大地推動AI技術(shù)的發(fā)展和應用。 在nGPT中,所有的向量(包括嵌入向量、多層感知(MLP)向量、注意力
    的頭像 發(fā)表于 10-23 11:30 ?870次閱讀

    谷歌Chrome瀏覽器新增三大AI功能,提升用戶體驗

    谷歌近日宣布,在其廣受歡迎的Chrome瀏覽器中引入了三項前沿的AI技術(shù)功能,旨在為用戶提供更加智能、便捷的瀏覽體驗。這些新功能由Gemini技術(shù)強力驅(qū)動,目前已在Chrome桌面版上線,標志著谷歌在AI與瀏覽器融合方面的又一重
    的頭像 發(fā)表于 08-05 11:26 ?1127次閱讀

    板液位計怎么用磁鐵校正

    板液位計是一種常用的液位測量裝置,它利用磁鐵和磁板的相互作用來實現(xiàn)液位的測量。在使用過程中,有時需要對磁板液位計進行磁鐵校正,以確保測量的準確性。以下是關(guān)于磁板液位計磁鐵校正
    的頭像 發(fā)表于 07-31 09:40 ?1998次閱讀