一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

一種針對來自互聯(lián)網(wǎng)的數(shù)萬億個單詞訓(xùn)練的語言模型

倩倩 ? 來源:新經(jīng)網(wǎng) ? 2020-07-07 08:58 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

商業(yè)概覽:

OpenAI是一個人工智能研究實驗室,由OpenAI LP及其上級組織非營利組織OpenAI Inc.組成。該公司是技術(shù)巨頭DeepMind的競爭對手,在人工智能(AI)領(lǐng)域進行研究,以共同促進并以有益于整個人類的方式開發(fā)友好的AI。該組織由埃隆·馬斯克(Elon Musk),薩姆·奧特曼(Sam Altman)等人于2015年年底在舊金山成立,他們共同認捐了10億美元。馬斯克于2018年2月從董事會辭職,但仍是捐助者。2019年,OpenAI LP從微軟獲得了10億美元的投資。2020年6月,OpenAI宣布了GPT-3,這是一種針對來自互聯(lián)網(wǎng)的數(shù)萬億個單詞訓(xùn)練的語言模型。它還宣布了一個關(guān)聯(lián)的API,簡稱為“ API”,將成為其首個商業(yè)產(chǎn)品的核心。GPT-3旨在以自然語言回答問題,但也可以在各種語言之間進行翻譯,并且可以連貫地生成即興文本。

自動點唱機:

自動點唱機是一種神經(jīng)網(wǎng)絡(luò),可以產(chǎn)生包括基本唱歌在內(nèi)的音樂,作為各種類型和藝術(shù)風(fēng)格的原始音頻。他們將發(fā)布模型權(quán)重和代碼,以及用于探索生成的樣本的工具。自動音樂生成可追溯到半個多世紀。一種突出的方法是以鋼琴卷的形式象征性地產(chǎn)生音樂,該音樂指定要演奏的每個音符的時機,音高,速度和樂器。這導(dǎo)致了令人印象深刻的結(jié)果,例如制作巴赫合唱,使用多種樂器的和弦音樂以及時長的音樂作品。

但是符號生成器有局限性,它們無法捕獲人的聲音或音樂必不可少的許多更細微的音色,動態(tài)性和表現(xiàn)力。另一種方法是將音樂直接建模為原始音頻。由于音序很長,因此在音頻級別上生成音樂非常具有挑戰(zhàn)性。17以CD質(zhì)量(44 kHz,16位)播放一首典型的4分鐘歌曲需要超過1000萬步。為了進行比較,GPT-2有1,000個時間步長,而OpenAI Five每場比賽花費了數(shù)萬個時間步長。因此,要學(xué)習(xí)音樂的高級語義,模型將必須處理極長距離的依賴關(guān)系。

MuseNet:

MuseNet是一個深度神經(jīng)網(wǎng)絡(luò),可以用10種不同的樂器生成4分鐘的音樂作品,并且可以將鄉(xiāng)村音樂,莫扎特音樂和甲殼蟲音樂的風(fēng)格進行組合。MuseNet并未根據(jù)他們對音樂的理解進行明確編程,而是通過學(xué)習(xí)預(yù)測數(shù)十萬個MIDI文件中的下一個標記來發(fā)現(xiàn)和諧,節(jié)奏和風(fēng)格的模式。MuseNet使用與GPT-2相同的通用無監(jiān)督技術(shù),GPT-2是一種大型變壓器模型,經(jīng)過訓(xùn)練可以預(yù)測序列中的下一個標記(無論是音頻還是文本)。MuseNet使用Sparse Transformer的重新計算和優(yōu)化的內(nèi)核來訓(xùn)練具有24個關(guān)注頭的72層網(wǎng)絡(luò)-充分關(guān)注4096個令牌的上下文。如此長的語境可能是它能夠記住片段中長期結(jié)構(gòu)的原因之一。

其使命:

OpenAI的使命是確保人工智能(AGI)惠及全人類,人工智能(AGI)表示高度自主的系統(tǒng),在大多數(shù)具有經(jīng)濟價值的工作中,它們要勝過人類。該公司將嘗試直接建立安全有益的AGI,但如果他們的工作幫助其他人實現(xiàn)了這一目標,也將認為他們的使命已經(jīng)實現(xiàn)。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1806

    文章

    49011

    瀏覽量

    249371
  • OpenAI
    +關(guān)注

    關(guān)注

    9

    文章

    1207

    瀏覽量

    8908
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    官網(wǎng)下載的stm32cubemx無法連接互聯(lián)網(wǎng),WiFi有條斜杠,怎么解決?

    有哪位大佬幫忙解決下,我在官網(wǎng)下載的stm32cubemx無法連接互聯(lián)網(wǎng),WiFi有條斜杠,感謝您。
    發(fā)表于 03-11 07:35

    小白學(xué)大模型訓(xùn)練語言模型的深度指南

    在當(dāng)今人工智能飛速發(fā)展的時代,大型語言模型(LLMs)正以其強大的語言理解和生成能力,改變著我們的生活和工作方式。在最近的項研究中,科學(xué)家們?yōu)榱松钊肓私馊绾胃咝У?/div>
    的頭像 發(fā)表于 03-03 11:51 ?725次閱讀
    小白學(xué)大<b class='flag-5'>模型</b>:<b class='flag-5'>訓(xùn)練</b>大<b class='flag-5'>語言</b><b class='flag-5'>模型</b>的深度指南

    文解析工業(yè)互聯(lián)網(wǎng)

    電子發(fā)燒友網(wǎng)站提供《文解析工業(yè)互聯(lián)網(wǎng).pptx》資料免費下載
    發(fā)表于 02-20 16:42 ?1次下載

    文詳解視覺語言模型

    視覺語言模型(VLM)是一種多模態(tài)、生成式 AI 模型,能夠理解和處理視頻、圖像和文本。
    的頭像 發(fā)表于 02-12 11:13 ?1757次閱讀
    <b class='flag-5'>一</b>文詳解視覺<b class='flag-5'>語言</b><b class='flag-5'>模型</b>

    騰訊公布大語言模型訓(xùn)練新專利

    語言模型訓(xùn)練過程中引入第摘要文本和第二摘要文本,為模型提供了更為豐富的學(xué)習(xí)信息。這兩摘要
    的頭像 發(fā)表于 02-10 09:37 ?406次閱讀

    文讀懂物聯(lián)網(wǎng)互聯(lián)網(wǎng)的區(qū)別 工業(yè)深度扒

    任何物品與互聯(lián)網(wǎng)相連接,進行信息交換和通信,以實現(xiàn)智能化識別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)。 物聯(lián)網(wǎng)動態(tài)的全球網(wǎng)絡(luò)基礎(chǔ)設(shè)施,它具有
    的頭像 發(fā)表于 02-07 11:32 ?1560次閱讀
    <b class='flag-5'>一</b>文讀懂物<b class='flag-5'>聯(lián)網(wǎng)</b>和<b class='flag-5'>互聯(lián)網(wǎng)</b>的區(qū)別  工業(yè)深度扒

    互聯(lián)網(wǎng)是什么意思

    互聯(lián)網(wǎng),通常稱為云計算,是一種基于互聯(lián)網(wǎng)的計算模式,它允許用戶通過網(wǎng)絡(luò)訪問和使用遠程服務(wù)器上的存儲、管理和處理數(shù)據(jù)的資源。主機推薦小編為您整理發(fā)布云互聯(lián)網(wǎng)的詳細解釋。
    的頭像 發(fā)表于 01-07 09:50 ?605次閱讀

    【「具身智能機器人系統(tǒng)」閱讀體驗】+數(shù)據(jù)在具身人工智能中的價值

    嵌入式人工智能(EAI)將人工智能集成到機器人等物理實體中,使它們能夠感知、學(xué)習(xí)環(huán)境并與之動態(tài)交互。這種能力使此類機器人能夠在人類社會中有效地提供商品及服務(wù)。 數(shù)據(jù)是一種貨幣化工具 數(shù)據(jù)是互聯(lián)網(wǎng)
    發(fā)表于 12-24 00:33

    云端語言模型開發(fā)方法

    云端語言模型的開發(fā)是復(fù)雜而系統(tǒng)的過程,涉及數(shù)據(jù)準備、模型選擇、訓(xùn)練優(yōu)化、部署應(yīng)用等多個環(huán)節(jié)。
    的頭像 發(fā)表于 12-02 10:48 ?688次閱讀

    什么是大模型、大模型是怎么訓(xùn)練出來的及大模型作用

    ,基礎(chǔ)模型。 ? 大模型簡稱,完整的叫法,應(yīng)該是“人工智能預(yù)訓(xùn)練模型”。預(yù)
    的頭像 發(fā)表于 11-25 09:29 ?1.3w次閱讀
    什么是大<b class='flag-5'>模型</b>、大<b class='flag-5'>模型</b>是怎么<b class='flag-5'>訓(xùn)練</b>出來的及大<b class='flag-5'>模型</b>作用

    燒結(jié)銀在衛(wèi)星互聯(lián)網(wǎng)中的四大應(yīng)用

    無壓燒結(jié)銀作為一種先進的連接材料,近年來在衛(wèi)星互聯(lián)網(wǎng)領(lǐng)域展現(xiàn)出了巨大的應(yīng)用潛力。衛(wèi)星互聯(lián)網(wǎng)作為新代通信技術(shù)的重要組成部分,旨在通過衛(wèi)星實現(xiàn)全球無縫覆蓋的高速
    的頭像 發(fā)表于 11-17 15:39 ?589次閱讀

    從零開始訓(xùn)練語言模型需要投資多少錢?

    ,前言 ? 在AI領(lǐng)域,訓(xùn)練大型語言模型(LLM)是
    的頭像 發(fā)表于 11-08 14:15 ?786次閱讀
    從零開始<b class='flag-5'>訓(xùn)練</b><b class='flag-5'>一</b><b class='flag-5'>個</b>大<b class='flag-5'>語言</b><b class='flag-5'>模型</b>需要投資多少錢?

    語言模型如何開發(fā)

    語言模型的開發(fā)是復(fù)雜且細致的過程,涵蓋了數(shù)據(jù)準備、模型架構(gòu)設(shè)計、訓(xùn)練、微調(diào)和部署等多個階段
    的頭像 發(fā)表于 11-04 10:14 ?604次閱讀

    海外動態(tài)IP:解鎖全球互聯(lián)網(wǎng)資源的新鑰匙

    海外動態(tài)IP作為一種強大的網(wǎng)絡(luò)工具,正逐步成為解鎖全球互聯(lián)網(wǎng)資源、賦能數(shù)字時代新探索的關(guān)鍵力量。
    的頭像 發(fā)表于 11-01 05:57 ?683次閱讀

    【《大語言模型應(yīng)用指南》閱讀體驗】+ 基礎(chǔ)知識學(xué)習(xí)

    的表達方式和生成能力。通過預(yù)測文本中缺失的部分或下一個詞,模型逐漸掌握語言的規(guī)律和特征。 常用的模型結(jié)構(gòu) Transformer架構(gòu):大語言
    發(fā)表于 08-02 11:03