一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

IBM Research AI團(tuán)隊用大規(guī)模的模擬存儲器陣列訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)

Qp2m_ggservicer ? 來源:未知 ? 作者:李倩 ? 2018-06-16 16:15 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

IBM 近日提出的全新芯片設(shè)計可以通過在數(shù)據(jù)存儲的位置執(zhí)行計算來加速全連接神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。研究人員稱,這種「芯片」可以達(dá)到 GPU 280 倍的能源效率,并在同樣面積上實現(xiàn) 100 倍的算力。該研究的論文已經(jīng)發(fā)表在上周出版的 Nature 期刊上。

在最近發(fā)表在Nature上的一篇論文中,IBM Research AI團(tuán)隊用大規(guī)模的模擬存儲器陣列訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)(DNN),達(dá)到了與GPU相當(dāng)?shù)木?。研究人員相信,這是在下一次AI突破所需要的硬件加速器發(fā)展道路上邁出的重要一步。

未來人工智能將需要大規(guī)??蓴U(kuò)展的計算單元,無論是在云端還是在邊緣,DNN都會變得更大、更快,這意味著能效必須顯著提高。雖然更好的GPU或其他數(shù)字加速器能在某種程度上起到幫助,但這些系統(tǒng)都不可避免地在數(shù)據(jù)的傳輸,也就是將數(shù)據(jù)從內(nèi)存?zhèn)鞯接嬎闾幚韱卧缓蠡貍魃匣ㄙM(fèi)大量的時間和能量。

模擬技術(shù)涉及連續(xù)可變的信號,而不是二進(jìn)制的0和1,對精度具有內(nèi)在的限制,這也是為什么現(xiàn)代計算機(jī)一般是數(shù)字型的。但是,AI研究人員已經(jīng)開始意識到,即使大幅降低運(yùn)算的精度,DNN模型也能運(yùn)行良好。因此,對于DNN來說,模擬計算有可能是可行的。

但是,此前還沒有人給出確鑿的證據(jù),證明使用模擬的方法可以得到與在傳統(tǒng)的數(shù)字硬件上運(yùn)行的軟件相同的結(jié)果。也就是說,人們還不清楚DNN是不是真的能夠通過模擬技術(shù)進(jìn)行高精度訓(xùn)練。如果精度很低,訓(xùn)練速度再快、再節(jié)能,也沒有意義。

在IBM最新發(fā)表的那篇Nature論文中,研究人員通過實驗,展示了模擬非易失性存儲器(NVM)能夠有效地加速反向傳播(BP)算法,后者是許多最新AI進(jìn)展的核心。這些NVM存儲器能讓BP算法中的“乘-加”運(yùn)算在模擬域中并行。

研究人員將一個小電流通過一個電阻器傳遞到一根導(dǎo)線中,然后將許多這樣的導(dǎo)線連接在一起,使電流聚集起來,就實現(xiàn)了大量計算的并行。而且,所有這些都在模擬存儲芯片內(nèi)完成,不需要數(shù)字芯片里數(shù)據(jù)在存儲單元和和處理單元之間傳輸?shù)倪^程。

IBM的大規(guī)模模擬存儲器陣列,訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)達(dá)到了GPU的精度

(圖片來源:IBM Research)

由于當(dāng)前NVM存儲器的固有缺陷,以前的相關(guān)實驗都沒有在DNN圖像分類任務(wù)上得到很好的精度。但這一次,IBM的研究人員使用創(chuàng)新的技術(shù),改善了很多不完善的地方,將性能大幅提升,在各種不同的網(wǎng)絡(luò)上,都實現(xiàn)了與軟件級的DNN精度。

單獨(dú)看這個大規(guī)模模擬存儲器陣列里的一個單元,由相變存儲器(PCM)和CMOS電容組成,PCM放長期記憶(權(quán)重),短期的更新放在CMOS電容器里,之后再通過特殊的技術(shù),消除器件與器件之間的不同。研究人員表示,這種方法是受了神經(jīng)科學(xué)的啟發(fā),使用了兩種類型的“突觸”:短期計算和長期記憶。

這些基于NVM的芯片在訓(xùn)練全連接層方面展現(xiàn)出了極強(qiáng)的潛力,在計算能效 (28,065 GOP/sec/W) 和通量(3.6 TOP/sec/mm^2)上,超過了當(dāng)前GPU的兩個數(shù)量級。

這項研究表明了,基于模擬存儲器的方法,能夠?qū)崿F(xiàn)與軟件等效的訓(xùn)練精度,并且在加速和能效上有數(shù)量級的提高,為未來設(shè)計全新的AI芯片奠定了基礎(chǔ)。研究人員表示,他們接下來將繼續(xù)優(yōu)化,處理全連接層和其他類型的計算。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • IBM
    IBM
    +關(guān)注

    關(guān)注

    3

    文章

    1823

    瀏覽量

    75849
  • 存儲器
    +關(guān)注

    關(guān)注

    38

    文章

    7653

    瀏覽量

    167469
  • AI芯片
    +關(guān)注

    關(guān)注

    17

    文章

    1983

    瀏覽量

    35935

原文標(biāo)題:GGAI 前沿 | IBM全新AI芯片設(shè)計登上Nature:算力是GPU的100倍

文章出處:【微信號:ggservicerobot,微信公眾號:高工智能未來】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的比較

    多層。 每一層都由若干個神經(jīng)元構(gòu)成,神經(jīng)元之間通過權(quán)重連接。信號在神經(jīng)網(wǎng)絡(luò)中是前向傳播的,而誤差是反向傳播的。 卷積神經(jīng)網(wǎng)絡(luò)(CNN) : CNN主要由卷積層、池化層和全連接層組成。
    的頭像 發(fā)表于 02-12 15:53 ?676次閱讀

    BP神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)分析

    自學(xué)習(xí)能力 : BP神經(jīng)網(wǎng)絡(luò)能夠通過訓(xùn)練數(shù)據(jù)自動調(diào)整網(wǎng)絡(luò)參數(shù),實現(xiàn)對輸入數(shù)據(jù)的分類、回歸等任務(wù),無需人工進(jìn)行復(fù)雜的特征工程。 泛化能力強(qiáng) : BP神經(jīng)網(wǎng)絡(luò)通過
    的頭像 發(fā)表于 02-12 15:36 ?932次閱讀

    什么是BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法

    BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法(Backpropagation Algorithm)是一種用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的有效方法。以下是關(guān)于BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法的介紹: 一、基本概念 反向傳播算
    的頭像 發(fā)表于 02-12 15:18 ?778次閱讀

    BP神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的關(guān)系

    ),是一種多層前饋神經(jīng)網(wǎng)絡(luò),它通過反向傳播算法進(jìn)行訓(xùn)練。BP神經(jīng)網(wǎng)絡(luò)由輸入層、一個或多個隱藏層和輸出層組成,通過逐層遞減的方式調(diào)整網(wǎng)絡(luò)權(quán)重,目的是最小化
    的頭像 發(fā)表于 02-12 15:15 ?868次閱讀

    如何訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)模型

    BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)是一種經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)模型,其訓(xùn)練過程主要分為兩個階段:前向傳播和反向傳播。以下是訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 02-12 15:10 ?931次閱讀

    深度學(xué)習(xí)入門:簡單神經(jīng)網(wǎng)絡(luò)的構(gòu)建與實現(xiàn)

    深度學(xué)習(xí)中,神經(jīng)網(wǎng)絡(luò)是核心模型。今天我們 Python 和 NumPy 構(gòu)建一個簡單的神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)由多個
    的頭像 發(fā)表于 01-23 13:52 ?534次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的實現(xiàn)工具與框架

    : TensorFlow是由Google Brain團(tuán)隊開發(fā)的開源機(jī)器學(xué)習(xí)框架,它支持多種深度學(xué)習(xí)模型的構(gòu)建和訓(xùn)練,包括卷積神經(jīng)網(wǎng)絡(luò)。TensorFlow以其靈活性和可擴(kuò)展性而聞名,適
    的頭像 發(fā)表于 11-15 15:20 ?672次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的比較

    深度學(xué)習(xí)領(lǐng)域,神經(jīng)網(wǎng)絡(luò)模型被廣泛應(yīng)用于各種任務(wù),如圖像識別、自然語言處理和游戲智能等。其中,卷積神經(jīng)網(wǎng)絡(luò)(CNNs)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)是兩種常見的模型。 1. 結(jié)構(gòu)差異 1.1 傳統(tǒng)
    的頭像 發(fā)表于 11-15 14:53 ?1885次閱讀

    深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)模型

    深度學(xué)習(xí)近年來在多個領(lǐng)域取得了顯著的進(jìn)展,尤其是在圖像識別、語音識別和自然語言處理等方面。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的一個分支,因其在圖像處理任務(wù)中的卓越性能而受到廣泛關(guān)注。 卷積神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 11-15 14:52 ?851次閱讀

    RNN模型與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的區(qū)別

    神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)領(lǐng)域中的一種強(qiáng)大工具,它們能夠模擬人腦處理信息的方式。隨著技術(shù)的發(fā)展,神經(jīng)網(wǎng)絡(luò)的類型也在不斷增加,其中循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和傳統(tǒng)
    的頭像 發(fā)表于 11-15 09:42 ?1138次閱讀

    LSTM神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)準(zhǔn)備方法

    LSTM(Long Short-Term Memory,長短期記憶)神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)準(zhǔn)備方法是一個關(guān)鍵步驟,它直接影響到模型的性能和效果。以下是一些關(guān)于LSTM神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)準(zhǔn)備的
    的頭像 發(fā)表于 11-13 10:08 ?2131次閱讀

    關(guān)于卷積神經(jīng)網(wǎng)絡(luò),這些概念你厘清了么~

    必須通過決策閾值做出決定。 另一個區(qū)別是AI并不依賴固定的規(guī)則,而是要經(jīng)過訓(xùn)練。訓(xùn)練過程需要將大量貓的圖像展示給神經(jīng)網(wǎng)絡(luò)以供其學(xué)習(xí)。最終,神經(jīng)網(wǎng)絡(luò)
    發(fā)表于 10-24 13:56

    【飛凌嵌入式OK3576-C開發(fā)板體驗】RKNN神經(jīng)網(wǎng)絡(luò)算法開發(fā)環(huán)境搭建

    download_model.sh 腳本,該腳本 將下載一個可用的 YOLOv5 ONNX 模型,并存放在當(dāng)前 model 目錄下,參考命令如下: 安裝COCO數(shù)據(jù)集,在深度神經(jīng)網(wǎng)絡(luò)算法中,模型的訓(xùn)練離不開大量的數(shù)據(jù)集,數(shù)據(jù)
    發(fā)表于 10-10 09:28

    FPGA在深度神經(jīng)網(wǎng)絡(luò)中的應(yīng)用

    隨著人工智能技術(shù)的飛速發(fā)展,深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network, DNN)作為其核心算法之一,在圖像識別、語音識別、自然語言處理等領(lǐng)域取得了顯著成果。然而,傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 07-24 10:42 ?1224次閱讀

    分享幾個FPGA實現(xiàn)的小型神經(jīng)網(wǎng)絡(luò)

    今天我們分享幾個FPGA實現(xiàn)的小型神經(jīng)網(wǎng)絡(luò),側(cè)重應(yīng)用。
    的頭像 發(fā)表于 07-24 09:30 ?1901次閱讀
    分享幾個<b class='flag-5'>用</b>FPGA實現(xiàn)的小型<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>