一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

全光深度儲(chǔ)備池計(jì)算機(jī)突破大模型訓(xùn)練難題

微云疏影 ? 來(lái)源:綜合整理 ? 作者:綜合整理 ? 2024-01-23 10:01 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

當(dāng)前,人工智能的飛速發(fā)展催生了大模型對(duì)海量算力的無(wú)盡渴望,使得原本基于馮諾依曼結(jié)構(gòu)的計(jì)算機(jī)遇到了巨大的挑戰(zhàn)。為此,尋找一種新的高效計(jì)算機(jī)結(jié)構(gòu)來(lái)替代經(jīng)典架構(gòu),成為了業(yè)內(nèi)專(zhuān)家們長(zhǎng)久以來(lái)的探索方向。近期,來(lái)自上海科技大學(xué)的研究團(tuán)隊(duì)便取得了突破性進(jìn)展,他們首次研發(fā)出了全光深度儲(chǔ)備池計(jì)算機(jī),并在著名學(xué)術(shù)刊物《Optica》上公開(kāi)發(fā)表了這一開(kāi)創(chuàng)性的成果——名為“Deep photonic reservoir computing recurrent network”的論文。

儲(chǔ)備池計(jì)算(Reservoir Computing)作為在2000年被提出的先進(jìn)理念,是一類(lèi)以較少培訓(xùn)成本和低硬件投入實(shí)現(xiàn)的可逆循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN),在時(shí)序數(shù)據(jù)處理中擁有廣泛的適用領(lǐng)域,諸如波形辨別、語(yǔ)音識(shí)別及時(shí)間序列預(yù)測(cè)等。盡管其使得訓(xùn)練成本更低且具有高效率、低延遲的優(yōu)點(diǎn),但卻不適應(yīng)那些需要深度神經(jīng)網(wǎng)絡(luò)多層次處理信息的大型模型,因?yàn)槎鄶?shù)硬件儲(chǔ)備池計(jì)算機(jī)只有一層厚度,無(wú)法勝任處理現(xiàn)實(shí)生活中紛繁復(fù)雜任務(wù)的需求。

然而,該研究團(tuán)隊(duì)這次創(chuàng)新性的成就便是通過(guò)運(yùn)用級(jí)聯(lián)光注入鎖定的全新技術(shù),成功組建了共4個(gè)隱藏層。這種儲(chǔ)備池光計(jì)算機(jī)的獨(dú)特之處在于,每個(gè)隱藏層都是由半導(dǎo)體激光芯片與光學(xué)反饋環(huán)組成,且兩個(gè)層面之間的聯(lián)系采用全光形式進(jìn)行,無(wú)需經(jīng)過(guò)光電變換或數(shù)模轉(zhuǎn)換,這不僅大大降低了能源消耗,也有效縮短了延遲時(shí)間。

據(jù)悉,此款計(jì)算機(jī)工作頻率高達(dá)20GHz,延遲時(shí)間僅為263ns,具備生成超過(guò)5000個(gè)神經(jīng)元節(jié)點(diǎn)以及101TOPS強(qiáng)大算力的能力。此外,由于每一層都由相應(yīng)的激光芯片提供能量,故而無(wú)論儲(chǔ)備池深度如何擴(kuò)展,系統(tǒng)中的光功率均不受影響。

為了論證這一計(jì)算機(jī)解決實(shí)際問(wèn)題的能力,科研團(tuán)隊(duì)選取了四個(gè)隱藏層共計(jì)320個(gè)互連神經(jīng)元(每層80個(gè))來(lái)解決光纖通信領(lǐng)域的重要挑戰(zhàn)——非線性信道均衡問(wèn)題,這也是華為早先提出的后香農(nóng)時(shí)代十大數(shù)學(xué)難題之一。試驗(yàn)結(jié)果顯示,這款深度儲(chǔ)備池光計(jì)算機(jī)展現(xiàn)出極強(qiáng)的光纖非線性補(bǔ)償功能,有力提升了光纖信道的通信容量。

據(jù)了解,相較于市場(chǎng)主流的邊緣計(jì)算產(chǎn)品,同功耗下的儲(chǔ)備池光計(jì)算機(jī)算力至少高出1個(gè)數(shù)量級(jí),且能將時(shí)延降低3至4個(gè)數(shù)量級(jí)。因此,未來(lái)這一新形態(tài)的儲(chǔ)備池光計(jì)算機(jī)將被廣泛應(yīng)用于如智能制造、機(jī)器人、智慧醫(yī)療、智慧交通、智能家居等各類(lèi)邊緣計(jì)算應(yīng)用場(chǎng)景。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    42

    文章

    4814

    瀏覽量

    103630
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3146

    瀏覽量

    4072
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    清華光芯片取得新突破,邁向AI訓(xùn)練

    電子發(fā)燒友網(wǎng)報(bào)道(文/吳子鵬)近日,清華大學(xué)發(fā)布官方消息稱,清華大學(xué)電子工程系方璐教授課題組、自動(dòng)化系戴瓊海院士課題組另辟蹊徑,首創(chuàng)了前向智能計(jì)算訓(xùn)練架構(gòu),研制了“太極-II”
    的頭像 發(fā)表于 08-13 01:23 ?3767次閱讀

    DCU率先展開(kāi)文心系列模型深度技術(shù)合作 FLOPs利用率(MFU)達(dá)47%

    模型深度技術(shù)適配,預(yù)訓(xùn)練模型FLOPs利用率(MFU)達(dá)到47%,在多個(gè)文本與多模態(tài)基準(zhǔn)測(cè)試中取得SOTA水平。此次合作標(biāo)志著國(guó)產(chǎn)算力基礎(chǔ)設(shè)施與大
    的頭像 發(fā)表于 07-01 14:35 ?567次閱讀

    RAKsmart智能算力架構(gòu):異構(gòu)計(jì)算+低時(shí)延網(wǎng)絡(luò)驅(qū)動(dòng)企業(yè)AI訓(xùn)練范式升級(jí)

    在AI大模型參數(shù)量突破萬(wàn)億、多模態(tài)應(yīng)用爆發(fā)的今天,企業(yè)AI訓(xùn)練正面臨算力效率與成本的雙重挑戰(zhàn)。RAKsmart推出的智能算力架構(gòu),以異構(gòu)計(jì)算資源
    的頭像 發(fā)表于 04-17 09:29 ?321次閱讀

    軟通計(jì)算機(jī)重磅發(fā)布DeepSeek大模型一體機(jī)產(chǎn)品

    。 在人工智能技術(shù)加速賦能千行百業(yè)的背景下,隨著AI應(yīng)用場(chǎng)景的深度拓展,模型部署復(fù)雜度高、場(chǎng)景適配難度大、運(yùn)維成本居高不下等問(wèn)題日益凸顯,嚴(yán)重制約了技術(shù)普惠進(jìn)程。此次,軟通計(jì)算機(jī)發(fā)布的DeepSeek大
    的頭像 發(fā)表于 03-22 10:40 ?967次閱讀
    軟通<b class='flag-5'>計(jì)算機(jī)</b>重磅發(fā)布DeepSeek大<b class='flag-5'>模型</b>一體機(jī)產(chǎn)品

    憶聯(lián)PCIe 5.0 SSD支撐大模型流程訓(xùn)練

    當(dāng)前,大模型流程訓(xùn)練對(duì)數(shù)據(jù)存儲(chǔ)系統(tǒng)的要求已突破傳統(tǒng)邊界。企業(yè)級(jí)SSD作為AI算力基礎(chǔ)設(shè)施的核心組件,其高可靠性、高性能及智能化管理能力,正成為支撐大
    的頭像 發(fā)表于 03-11 10:26 ?425次閱讀
    憶聯(lián)PCIe 5.0 SSD支撐大<b class='flag-5'>模型</b><b class='flag-5'>全</b>流程<b class='flag-5'>訓(xùn)練</b>

    騰訊公布大語(yǔ)言模型訓(xùn)練新專(zhuān)利

    近日,騰訊科技(深圳)有限公司公布了一項(xiàng)名為“大語(yǔ)言模型訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)”的新專(zhuān)利。該專(zhuān)利的公布,標(biāo)志著騰訊在大語(yǔ)言模型訓(xùn)練
    的頭像 發(fā)表于 02-10 09:37 ?413次閱讀

    加州理工學(xué)院開(kāi)發(fā)出超100GHz時(shí)鐘速度的計(jì)算機(jī)

    加州理工學(xué)院的研究人員取得重大突破,開(kāi)發(fā)出一款能實(shí)現(xiàn)超過(guò)100GHz時(shí)鐘速度的計(jì)算機(jī)。 長(zhǎng)期以來(lái),電子計(jì)算機(jī)時(shí)鐘頻率在近20年停滯于5G
    的頭像 發(fā)表于 01-23 10:32 ?461次閱讀

    AI模型部署邊緣設(shè)備的奇妙之旅:目標(biāo)檢測(cè)模型

    1、簡(jiǎn)介 人工智能圖像識(shí)別是人工智能領(lǐng)域的一個(gè)重要分支,它涉及計(jì)算機(jī)視覺(jué)、深度學(xué)習(xí)、機(jī)器學(xué)習(xí)等多個(gè)領(lǐng)域的知識(shí)和技術(shù)。圖像識(shí)別主要是處理具有一定復(fù)雜性的信息。計(jì)算機(jī)采用與人類(lèi)類(lèi)似的圖像識(shí)別原理,即對(duì)
    發(fā)表于 12-19 14:33

    量子計(jì)算機(jī)與普通計(jì)算機(jī)工作原理的區(qū)別

    ? 本文介紹了量子計(jì)算機(jī)與普通計(jì)算機(jī)工作原理的區(qū)別。 量子計(jì)算是一個(gè)新興的研究領(lǐng)域,科學(xué)家們利用量子力學(xué),制造出具有革命性能力的計(jì)算機(jī)。雖然現(xiàn)在的量子
    的頭像 發(fā)表于 11-24 11:00 ?1493次閱讀
    量子<b class='flag-5'>計(jì)算機(jī)</b>與普通<b class='flag-5'>計(jì)算機(jī)</b>工作原理的區(qū)別

    計(jì)算機(jī)接口位于什么之間

    計(jì)算機(jī)接口是計(jì)算機(jī)硬件和軟件之間、計(jì)算機(jī)與外部設(shè)備之間以及計(jì)算機(jī)各部件之間傳輸數(shù)據(jù)、控制信息和狀態(tài)信息的硬件設(shè)備和軟件程序。它在計(jì)算機(jī)系統(tǒng)中
    的頭像 發(fā)表于 10-14 14:02 ?1320次閱讀

    簡(jiǎn)述計(jì)算機(jī)總線的分類(lèi)

    計(jì)算機(jī)總線作為計(jì)算機(jī)系統(tǒng)中連接各個(gè)功能部件的公共通信干線,其結(jié)構(gòu)和分類(lèi)對(duì)于理解計(jì)算機(jī)硬件系統(tǒng)的工作原理至關(guān)重要。以下是對(duì)計(jì)算機(jī)總線結(jié)構(gòu)和分類(lèi)的詳細(xì)闡述,內(nèi)容將涵蓋總線的基本概念、內(nèi)部結(jié)
    的頭像 發(fā)表于 08-26 16:23 ?5185次閱讀

    晶體管計(jì)算機(jī)和電子管計(jì)算機(jī)有什么區(qū)別

    晶體管計(jì)算機(jī)和電子管計(jì)算機(jī)作為計(jì)算機(jī)發(fā)展史上的兩個(gè)重要階段,它們?cè)诙鄠€(gè)方面存在顯著的區(qū)別。以下是對(duì)這兩類(lèi)計(jì)算機(jī)在硬件、性能、應(yīng)用以及技術(shù)發(fā)展等方面區(qū)別的詳細(xì)闡述。
    的頭像 發(fā)表于 08-23 15:28 ?3617次閱讀

    高壓放大器在鐵磁鐵電異質(zhì)結(jié)系統(tǒng)物理儲(chǔ)備計(jì)算中的應(yīng)用

    實(shí)驗(yàn)名稱:高壓放大器在鐵磁鐵電異質(zhì)結(jié)系統(tǒng)物理儲(chǔ)備計(jì)算中的應(yīng)用實(shí)驗(yàn)內(nèi)容:將信號(hào)發(fā)生器產(chǎn)生的一段任意波形經(jīng)高壓放大器放大后輸入到系統(tǒng)中,探測(cè)系統(tǒng)的實(shí)時(shí)輸出,并對(duì)該系統(tǒng)進(jìn)行儲(chǔ)備
    的頭像 發(fā)表于 08-23 13:49 ?580次閱讀
    高壓放大器在鐵磁鐵電異質(zhì)結(jié)系統(tǒng)物理<b class='flag-5'>儲(chǔ)備</b><b class='flag-5'>池</b><b class='flag-5'>計(jì)算</b>中的應(yīng)用

    如何利用ARMxy ARM嵌入式計(jì)算機(jī)的NPU進(jìn)行深度學(xué)習(xí)模型訓(xùn)練和優(yōu)化?

    在正文開(kāi)始前,我們先大致了解鋇錸的ARMxy ARM嵌入式計(jì)算機(jī),再來(lái)說(shuō)說(shuō)我們?nèi)绾卫肁RMxy ARM嵌入式計(jì)算機(jī)的NPU來(lái)實(shí)現(xiàn)深度學(xué)習(xí)模型訓(xùn)練
    的頭像 發(fā)表于 08-20 13:43 ?761次閱讀
    如何利用ARMxy ARM嵌入式<b class='flag-5'>計(jì)算機(jī)</b>的NPU進(jìn)行<b class='flag-5'>深度</b>學(xué)習(xí)<b class='flag-5'>模型</b>的<b class='flag-5'>訓(xùn)練</b>和優(yōu)化?

    計(jì)算機(jī)視覺(jué)技術(shù)的AI算法模型

    計(jì)算機(jī)視覺(jué)技術(shù)作為人工智能領(lǐng)域的一個(gè)重要分支,旨在使計(jì)算機(jī)能夠像人類(lèi)一樣理解和解釋圖像及視頻中的信息。為了實(shí)現(xiàn)這一目標(biāo),計(jì)算機(jī)視覺(jué)技術(shù)依賴于多種先進(jìn)的AI算法模型。以下將詳細(xì)介紹幾種常
    的頭像 發(fā)表于 07-24 12:46 ?1809次閱讀