一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

光子張量處理器—迸發(fā)5G機器學習新活力

電子設(shè)計 ? 來源:電子設(shè)計 ? 作者:電子設(shè)計 ? 2020-12-25 15:14 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

翻譯自——EEtimes

近期,一種用光子張量處理器代替GPU來進行機器學習神經(jīng)網(wǎng)絡(luò)計算的新方法表明,在處理光學數(shù)據(jù)傳輸?shù)男阅苌峡梢蕴岣?-3階。這也表明光子處理器具有增強電子系統(tǒng)的潛力,并可能在5G網(wǎng)絡(luò)邊緣設(shè)備中表現(xiàn)強勁。

美國喬治華盛頓大學電子和計算機工程系的Mario Miscuglio和Volker Sorger在《應(yīng)用物理評論雜志》上發(fā)表了一篇論文,題為《基于光子的處理單元使更復雜的機器學習成為可能》。

在他們的方法中,光子張量核并行執(zhí)行矩陣乘法,這提高了深度學習的速度和效率。在機器學習中,神經(jīng)網(wǎng)絡(luò)被訓練來學習如何在不可見的數(shù)據(jù)上執(zhí)行無監(jiān)督的決策和分類任務(wù)。一旦神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)進行了訓練,它就可以產(chǎn)生一種推斷,從而對對象和模式進行識別和分類,并在數(shù)據(jù)中找到一個特征。

光子TPU并行存儲和處理數(shù)據(jù),具有電光互連的特點,可以有效地讀寫光存儲器,并與其他架構(gòu)進行接口。

作者之一Mario Miscuglio表示:“我們發(fā)現(xiàn)集成了高效光存儲的集成光子平臺可以獲得與張量處理單元相同的操作,但它們只消耗一小部分的功率,并具有更高的吞吐量,如果經(jīng)過適當?shù)挠柧?,可以用于以光速進行推理?!?/p>

大多數(shù)神經(jīng)網(wǎng)絡(luò)旨在模仿人類大腦的多層相互連接的神經(jīng)元。表示這些網(wǎng)絡(luò)的一種有效方法是將矩陣和向量相乘的復合函數(shù)。這種表示方式允許通過專門用于向量化操作(如矩陣乘法)的架構(gòu)來執(zhí)行并行操作。

(a)光子張量核(PTC)由一個16點積引擎組成,內(nèi)在獨立地逐列逐行逐點乘法和累加。點積引擎執(zhí)行兩個向量之間的乘法。輸入矩陣的第i行由由高速(如馬赫-曾德爾)調(diào)制器調(diào)制的波分復用信號給出。通過適當設(shè)置核矩陣的權(quán)值狀態(tài),將核矩陣的第j列加載到光子存儲器中。利用光-物質(zhì)與相變存儲器的相互作用,利用微環(huán)諧振器(MRR)對輸入信號進行頻譜濾波,并采用看似量子化的電吸收方案進行加權(quán)。(例如調(diào)幅),從而執(zhí)行按元素進行的乘法。使用光檢測器將元素式乘法非相干求和,這相當于MAC操作(Dij)。

任務(wù)越智能化,預(yù)測精度就越高,網(wǎng)絡(luò)就越復雜。這樣的網(wǎng)絡(luò)需要更大的計算量和更大的處理能力。當前適合于深度學習的數(shù)字處理器,如圖形處理單元(GPU)或張量處理單元(TPU),由于所需的功率以及處理器和存儲器之間電子數(shù)據(jù)的緩慢傳輸,在執(zhí)行更復雜、更精確的操作方面受到了限制。

研究人員表明,他們的TPU性能可以比電子TPU高出2-3個數(shù)量級。對于計算節(jié)點分布式網(wǎng)絡(luò)和在網(wǎng)絡(luò)邊緣(如5G)執(zhí)行高吞吐量智能任務(wù)的引擎來說,光子可能是一個理想的匹配。在網(wǎng)絡(luò)邊緣,數(shù)據(jù)信號可能已經(jīng)以來自監(jiān)控攝像機、光學傳感器和其他來源的光子的形式存在。

Miscuglio:“光子專用處理器可以節(jié)省大量的能源,提高響應(yīng)時間并減少數(shù)據(jù)中心的流量?!睂τ诮K端用戶來說,這意味著處理數(shù)據(jù)的速度要快得多,因為數(shù)據(jù)的很大一部分是預(yù)處理的,這意味著只需要將其余部分數(shù)據(jù)發(fā)送到云或數(shù)據(jù)中心。

光與電的較量

本文給出了利用光路完成機器學習任務(wù)的實例。在大多數(shù)神經(jīng)網(wǎng)絡(luò)(NNs)中,每一個神經(jīng)元和每一層,以及網(wǎng)絡(luò)的互連,都是訓練網(wǎng)絡(luò)的關(guān)鍵。根據(jù)訓練,在其連通層中,神經(jīng)網(wǎng)絡(luò)強烈依賴于向量矩陣的數(shù)學運算,其中輸入數(shù)據(jù)和權(quán)重的大矩陣根據(jù)訓練相乘。復雜的、多層的深層神經(jīng)網(wǎng)絡(luò)需要大量的帶寬和低延遲,以滿足執(zhí)行大矩陣乘法所需的大量操作,而不犧牲效率和速度。

那么如何有效地將這些矩陣相乘呢?對于通用處理器,矩陣操作在需要連續(xù)訪問緩存內(nèi)存的情況下串行進行,從而產(chǎn)生馮·諾依曼瓶頸[1]。而GPU和TPU等特殊的架構(gòu),有助于減少這些馮·諾依曼瓶頸的影響,使一些有效的機器學習模型成為可能。

CPU相比,GPU和TPU意義重大,但是當用它們來實現(xiàn)深度神經(jīng)網(wǎng)絡(luò)對大型2維數(shù)據(jù)集(如圖像)執(zhí)行推斷時,可能會耗電,并且需要更長的計算運行時間(大于幾十毫秒)。對于不那么復雜的推理任務(wù)來說,更小的矩陣乘法仍然受到不可忽略的延遲挑戰(zhàn),主要是由于各種內(nèi)存層次的訪問開銷和GPU中執(zhí)行每條指令的延遲。

作者建議,在這種情況下,有必要探索和重新研發(fā)當前邏輯計算平臺的操作范式,在這種邏輯計算平臺中,矩陣代數(shù)依賴于對內(nèi)存的連續(xù)訪問。在這方面,光的波動性質(zhì)和相關(guān)的固有操作,如干涉和衍射,可以在提高計算吞吐量和同時降低神經(jīng)形態(tài)平臺的功耗方面發(fā)揮重要作用。

他們建議未來的技術(shù)應(yīng)該在其隨時間變化的輸入信號所在的領(lǐng)域執(zhí)行計算任務(wù),并利用其內(nèi)在的物理操作。在這個觀點中,光子是計算節(jié)點分布式網(wǎng)絡(luò)和在網(wǎng)絡(luò)邊緣(如5G)對大數(shù)據(jù)執(zhí)行智能任務(wù)的引擎的理想匹配,其中數(shù)據(jù)信號可能已經(jīng)以光子的形式存在(如監(jiān)控攝像頭、光學傳感器等),從而預(yù)先過濾和智能調(diào)節(jié)允許向下游流向數(shù)據(jù)中心和云系統(tǒng)的數(shù)據(jù)流量。

在這里,他們探索了利用光子張量核(PTC)的方法,該方法能夠與訓練好的核進行一次性的4乘4矩陣的(非迭代的)和完全被動的乘法和積累。換句話說,一旦NN被訓練,權(quán)重被存儲在一個4位的多層光子存儲器中,直接在芯片上實現(xiàn),而不需要額外的電光電路或芯片外DRAM。該光子存儲器具有低損耗、相變、納米光子電路的特點,其基礎(chǔ)是將G2Sb2Se5的導線沉積在一個平面波導上,可以使用電熱開關(guān)進行更新,并且可以完全通過光學讀取。電熱開關(guān)是由夾住相變存儲器(PCM)導線的鎢加熱電極實現(xiàn)。

作者表示,這項工作代表了實現(xiàn)并行存儲數(shù)據(jù)和處理的光子張量處理器的第一種方法,與提供實時分析的最先進的硬件加速器相比,它可以將相乘累積(MAC)操作的數(shù)量提高幾個數(shù)量級,同時顯著降低功耗和延遲。

與依賴邏輯門的數(shù)字電子學不同,在集成光子學中,乘法、積累和更一般的線性代數(shù)運算可以固有地、非迭代地執(zhí)行,得益于信號的電磁特性和有效的光物質(zhì)相互作用所提供的內(nèi)在并行性。在這方面,集成光子學是一個理想的平臺,映射特定的復雜操作一對一到硬件,在某些情況下算法,實現(xiàn)時間復雜度。


審核編輯:符乾江


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • AI
    AI
    +關(guān)注

    關(guān)注

    88

    文章

    34906

    瀏覽量

    277823
  • ML
    ML
    +關(guān)注

    關(guān)注

    0

    文章

    151

    瀏覽量

    35041
  • 5G
    5G
    +關(guān)注

    關(guān)注

    1360

    文章

    48804

    瀏覽量

    571741
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    熱門5G路由參數(shù)對比,華為智選Brovi 5G CPE 5 VS SUNCOMM SDX75

    前兩天刷到一篇文章,說現(xiàn)在的5G插卡路由越來越猛,提到了兩個型號: 一個是 華為智選 Brovi 5G CPE 5 ,另一個是 SUNCOMM SDX75 。 我本來沒太當回事,覺
    發(fā)表于 06-05 13:54

    機器學習賦能的智能光子學器件系統(tǒng)研究與應(yīng)用

    騰訊會議---六月直播 1.機器學習賦能的智能光子學器件系統(tǒng)研究與應(yīng)用 2.COMSOL聲學多物理場仿真技術(shù)與應(yīng)用 3.超表面逆向設(shè)計及前沿應(yīng)用(從基礎(chǔ)入門到論文復現(xiàn)) 4.智能光學計算成像技術(shù)
    的頭像 發(fā)表于 06-04 17:59 ?142次閱讀
    <b class='flag-5'>機器</b><b class='flag-5'>學習</b>賦能的智能<b class='flag-5'>光子</b>學器件系統(tǒng)研究與應(yīng)用

    TPU處理器的特性和工作原理

    張量處理單元(TPU,Tensor Processing Unit)是一種專門為深度學習應(yīng)用設(shè)計的硬件加速。它的開發(fā)源于對人工智能(AI)和機器
    的頭像 發(fā)表于 04-22 09:41 ?1336次閱讀
    TPU<b class='flag-5'>處理器</b>的特性和工作原理

    光子 AI 處理器的核心原理及突破性進展

    電子發(fā)燒友網(wǎng)(文 / 李彎彎)光子 AI 處理器,作為一種借助光子執(zhí)行信息處理與人工智能(AI)計算的新型硬件設(shè)備,正逐漸嶄露頭角。與傳統(tǒng)基于晶體管的電子 AI
    的頭像 發(fā)表于 04-19 00:40 ?2564次閱讀

    RedCap和eRedCap如何為5G推廣應(yīng)用注入新活力

    目前看來也許5G還沒有達到發(fā)布前所炒作的期望值,但大多數(shù)業(yè)內(nèi)人士都認為,5G正處于Gartner炒作周期中的 “靜默演進” 階段。與任何重大技術(shù)遷移一樣,5G的推出必須克服各種復雜問題,而在面向消費者的應(yīng)用之外,
    的頭像 發(fā)表于 04-09 10:09 ?686次閱讀
    RedCap和eRedCap如何為<b class='flag-5'>5G</b>推廣應(yīng)用注入新<b class='flag-5'>活力</b>

    5G在遠程手術(shù)機器人的應(yīng)用案例

    未來已來,5G正在深刻地改變著我們的生活。今天,就讓我們一起走進智慧醫(yī)療的世界,揭開遠程手術(shù)機器人的神秘面紗,看看5G智能路由是如何幫助機器
    的頭像 發(fā)表于 02-17 16:07 ?557次閱讀

    CHA3218-99F低噪聲放大器適合5G通信嗎?

    CHA3218-99F低噪聲放大器適合5G通信嗎? CHA3218-99F低噪聲放大器在5G通信的Sub-6GHz頻段內(nèi)展現(xiàn)出了一定的適用性。CHA3218-99F能夠迎合這些頻段對低噪聲和高增益
    發(fā)表于 02-14 09:42

    基于微型5G網(wǎng)關(guān)的石化廠區(qū)巡檢機器人應(yīng)用

    針對石化廠區(qū)的巡檢機器人應(yīng)用,佰馬提供高集成度的微型5G智能網(wǎng)關(guān),融合5G通信、智能感知、多設(shè)備協(xié)同等優(yōu)勢,助力機器人實現(xiàn)高效可靠的廠區(qū)巡檢監(jiān)測、預(yù)警應(yīng)急等應(yīng)用。
    的頭像 發(fā)表于 02-13 17:35 ?582次閱讀
    基于微型<b class='flag-5'>5G</b>網(wǎng)關(guān)的石化廠區(qū)巡檢<b class='flag-5'>機器</b>人應(yīng)用

    工業(yè)5G路由讓無人機數(shù)據(jù)傳輸 “飛” 起來

    無人機上搭載5G通信模塊,該模塊與工業(yè)5G路由通過5G網(wǎng)絡(luò)建立連接。無人機的飛控系統(tǒng)、傳感以及攝像頭等設(shè)備采集到的數(shù)據(jù),如飛行姿態(tài)、高度
    的頭像 發(fā)表于 12-31 16:04 ?910次閱讀
    工業(yè)<b class='flag-5'>5G</b>路由<b class='flag-5'>器</b>讓無人機數(shù)據(jù)傳輸 “飛” 起來

    RK3568國產(chǎn)處理器 + TensorFlow框架的張量創(chuàng)建實驗案例分享

    一、實驗?zāi)康?本節(jié)視頻的目的是了解張量定義、了解張量的表示形式、并學習基于TensorFlow框架的張量創(chuàng)建方法。 二、實驗原理. 張量定義
    發(fā)表于 12-03 14:43

    5G路由5G CPE還傻傻分不清?一文帶你了解!

    5G CPE(Customer Premise Equipment)即5G客戶前置設(shè)備,是一種5G終端設(shè)備。5G路由是一個將
    的頭像 發(fā)表于 11-13 16:32 ?3077次閱讀
    <b class='flag-5'>5G</b>路由<b class='flag-5'>器</b>和<b class='flag-5'>5G</b> CPE還傻傻分不清?一文帶你了解!

    5G邊緣計算網(wǎng)關(guān)的實際應(yīng)用及其優(yōu)勢

    隨著全球5G技術(shù)的蓬勃發(fā)展,邊緣計算網(wǎng)關(guān)技術(shù)逐漸成為行業(yè)熱門焦點,為工業(yè)物聯(lián)網(wǎng)、智能交通及智慧城市建設(shè)等諸多領(lǐng)域注入了全新的活力與無限可能。憑借實時高效的數(shù)據(jù)處理與極低的連接延遲,5G
    的頭像 發(fā)表于 07-26 16:57 ?3176次閱讀

    探索未來通信|光耦技術(shù)在5G網(wǎng)絡(luò)通信的應(yīng)用 #光耦 #5G技術(shù)

    網(wǎng)絡(luò)通信5G
    晶臺光耦
    發(fā)布于 :2024年07月26日 08:46:30

    5G賦能新能源,工業(yè)5G路由實現(xiàn)充電樁遠程高效管理

    隨著5G技術(shù)的廣泛應(yīng)用,新能源充電樁的5G應(yīng)用正逐步構(gòu)建起全新的生態(tài)系統(tǒng)。在數(shù)字化轉(zhuǎn)型的浪潮中,新能源充電樁行業(yè)正迎來數(shù)字化改革。工業(yè)5G路由的引入,為充電樁的遠程管理提供了強有力的
    的頭像 發(fā)表于 07-22 17:38 ?711次閱讀
    <b class='flag-5'>5G</b>賦能新能源,工業(yè)<b class='flag-5'>5G</b>路由<b class='flag-5'>器</b>實現(xiàn)充電樁遠程高效管理

    嵌入式設(shè)備中的4G/5G模塊管理

    /5G模塊管理復雜多樣,不同品牌和型號的模塊各有其獨特的配置和上網(wǎng)流程,這不僅增加了用戶的學習成本,也導致了網(wǎng)絡(luò)穩(wěn)定性難以保障的問題。 為了幫助用戶解決這一問題,飛凌嵌入式精心打造了 4G/
    發(fā)表于 07-13 16:45