一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

大數(shù)據(jù)時代,馮·諾依曼架構捉襟見肘

倩倩 ? 來源:機器之能 ? 2020-04-17 11:32 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

大數(shù)據(jù)讓傳統(tǒng)計算機架構捉襟見肘,真實憶阻器的發(fā)現(xiàn)改變了這一局面。其元件特性適合模擬神經(jīng)元突觸的部分運作,使得電腦神經(jīng)網(wǎng)絡制作上更能接近人腦。目前,一些科技巨頭、創(chuàng)業(yè)和研究機構已在探索利用憶阻器強化計算機學習能力甚至取代普通晶體管計算機的路徑。

我們可以談論人工智能掌握一些人類本領,比如開車或者玩撲克。但是,當需要讓海量、無序信息變得有意義時,人類還無法打造一個哪怕是接近大腦的 AI。部分原因在于大腦未解之謎,以及已有半世紀歷史的計算機架構,制約了這一目標的實現(xiàn)。

如今,一種新的計算范式為突破瓶頸帶來曙光。這種激進方案使用了一種同時存儲、處理信息的硬件,與大腦神經(jīng)元網(wǎng)絡的差別不是很大。充分發(fā)揮這一新范式的潛力,我們就能創(chuàng)造出可以實時分析數(shù)據(jù)流、識別模式,或許還能獨立自學的機器心智(mind)。

大數(shù)據(jù)時代,馮·諾依曼架構捉襟見肘

筆記本,智能手機,平板電腦,只要你說上來的,幾乎都遵循著馮·諾依曼結構。70 多年前,他主張計算機處理器與存儲單元應該彼此獨立。聽起來不像是什么偉大的提議,但這意味著每運行一個新程序,沒必要再重新連接計算機。這種勞動分工的設計很湊效,人類制造出更快的計算機,辦法就是串聯(lián)處理器與內(nèi)存。

但是,這一架構也有短處。

處理器需要數(shù)據(jù)信息,必須先從存儲單元讀取。這就要求電子在兩個元件之間穿梭,因此,處理器經(jīng)常覺得很無聊,因為要等數(shù)據(jù)。你的筆記本為什么會有「多核」,這就是其中一個原因;多個處理器單元——每一個都與內(nèi)存連接——意味著,它們可以同時請求數(shù)據(jù),從整體上加快計算。

如今,這一局限性真的開始妨礙到人類進步。

數(shù)據(jù)比以往任何時候都要多,特別是「大數(shù)據(jù)」革命正在臨近。我們已經(jīng)可以瞥見未來的樣子:預測心臟病,數(shù)據(jù)預測分析比傳統(tǒng)醫(yī)學方法更快、更準。英國諾丁漢大學研究人員設計了一種算法,可以處理近 400,000 病人的電子病歷,多么龐大的數(shù)據(jù)分析任務。隨著物聯(lián)網(wǎng)范圍延伸到我們身邊的日常事物,從交通燈到冰箱,機器會為我們提供更多的生活洞見。

應用得當,前景無限。然而,如此龐大的數(shù)據(jù)量已經(jīng)讓計算機過熱。美國能源部的一份報告顯示,世界 5% 到 15% 的能源都被用于計算,許多浪費在了數(shù)據(jù)的傳輸中。這正是我們需要突破馮·諾依曼瓶頸的原因。

人們?yōu)榇诉M行了許多嘗試。上世紀 80 年代,科學家開始考慮利用光子而不是電子來編譯信息。因為光子在光纖中的傳播速度更快,所需傳播時間更少。其他人想要堅持使用電子,不過希望將電子編碼進量子力學特性(自旋)中,讓電子攜帶更多信息。但是,到目前為止,這些辦法都沒有很大進展,主要原因在于實施起來很復雜,以至于投入產(chǎn)出不成比例。

總而言之,多年來,這個問題一直挑戰(zhàn)著人類智慧,之所以很諷刺,是因為大腦本身就是一臺超級計算機,但所需能耗與一只 20 瓦的電燈泡差不多。它們不會存在類似馮·諾依曼結構的瓶頸,因為同一個神經(jīng)網(wǎng)絡既可以存儲信息還可以處理信息。

大腦三大關鍵特征與傳統(tǒng)模擬方法的弊病

那么,如何模擬人類神經(jīng)網(wǎng)絡呢?這也是麻煩所在。我們不可能完全知曉大腦如何工作,不過,至少要模擬大腦的三個關鍵特征。

首先,大腦由大量的神經(jīng)元以及神經(jīng)元之間的突觸組成。其次,這些連接具有突觸彈性,也就是說它們可強可弱。學習,其實就是強化某組神經(jīng)元之間連接。

第三個特征,脈沖時間相關的突觸可塑性 (spike-time-dependent plasticity)。相對前兩個特征,這個特征沒有得到很好的理解。該特征表明,如果兩個神經(jīng)元幾乎同時放電,那么,神經(jīng)元就會被加強;如果放電不同步,就會變?nèi)?。?jīng)過這一漫長過程,協(xié)同工作的神經(jīng)元的關系會得到加強,以傳遞信息,不重要的聯(lián)系會被削弱。這就是大腦獨立學習的重要手段。綠燈時,你會立刻反應到「可以走了」,因為經(jīng)過多年訓練,相關神經(jīng)元之間的聯(lián)系得到了強化。

事實上,長期以來,我們一直在試圖模仿大腦計算方式。這個研究領域被稱之為神經(jīng)形態(tài)計算,如今已取得一些進步。

最早突破之一,來自研究人員 Frank Rosenblatt。1958 年,他將研究成果 Mark 1 感知機公布于眾。Rosenblatt 對著機器的攝像頭展示了圓圈或三角型卡片,讓機器進行識別,他來修正錯誤。50 次嘗試之內(nèi),機器已經(jīng)學會輸入代表圓圈或者三角的信號。

不過,當時的電子工程技術限制了感知機的發(fā)展。但是,情況已今非昔比。谷歌的 DeepMind 神經(jīng)網(wǎng)絡的成績令人驚呼,比如去年 AlphaGo 戰(zhàn)勝頂尖人類圍棋手。

TMark 1 感知機

然而,DeepMind 神經(jīng)網(wǎng)絡完全是軟件層面的模擬,在標準硅電子元件上運行。所以,盡管和神經(jīng)元網(wǎng)絡學習方式類似,但并未突破馮·諾依曼結構瓶頸。

2014 年問世的 IBM TrueNorth 芯片走的更遠。該芯片有 55 億個硅晶體管,按照人腦 100 萬個「神經(jīng)元」的結構進行排列。有了這枚芯片,手機可以實時識別視頻物體,比如汽車還是自行車,但是所需電量很少,僅為手機睡眠模式所需量。聽起來很贊,但是,如果將規(guī)模擴展到大腦神經(jīng)元級別,其能耗將是人腦能耗的 1 萬倍?!高@個辦法實際上是一種浪費?!谷鹗刻K黎世大學神經(jīng)形態(tài)工程師 Giacomo Indiveri 說。

簡言之,盡管想方設法模仿大腦某些特征,但是,我們從來未曾實現(xiàn)將這三大特征集中在一個物理系統(tǒng)上。比如,TrueNorth 芯片擁有許多高度連接的「神經(jīng)元」,但是,如果不借助軟件,根本無法調(diào)節(jié)連接強度。

憶阻器,機器獨立學習的未來

失敗要歸結于這樣一個事實:傳統(tǒng)電子產(chǎn)品還沒能力真去模擬神經(jīng)突觸。但現(xiàn)在,我們有辦法了,這要感謝半個世紀前的思想。

1971 年,加州大學伯克利分校的電子工程師 Leon Chua 正在看一道連接基本電路元件的方程式,這些元件包括電阻電容和電感。他突然注意到,可以用另外一種方式安排這些術語,結果得到一個關于第四個元件的方程式,這第四個元件的抗阻性會根據(jù)電流情況發(fā)生變化。Chua 將之稱為「憶阻器」,因為它的阻抗性似乎展示出一種記憶能力。但當時并沒有以這種原理工作的材料或者設備,人們幾乎忘記了這個發(fā)現(xiàn)。

約十年前,惠普公司的一個由 Stan Williams 帶領的團隊正在研究一種新型內(nèi)存,與臺式電腦不同,在關掉電源后,新內(nèi)存仍然保留數(shù)據(jù)。研究人員研究著使用了極薄鈦膜的設備,他們發(fā)現(xiàn)其阻抗性會隨著經(jīng)過電流而發(fā)生奇怪的變化。最終,他們意識到薄膜中活動的不僅僅是電子,也有原子,它們以微妙的方式反轉變化了材料結構及其抗阻性。易言之,這個團隊無意間創(chuàng)造出 Chua 憶阻器。

Williams 的研究有助于解釋以前為什么從未發(fā)現(xiàn)過憶阻性;因為只能在微觀尺度上自證存在。如今,人們相繼發(fā)現(xiàn)一系列可充當憶阻器的物質(zhì),包括一些聚合物。

真實憶阻器的出現(xiàn)鼓舞了研究人員,原因有幾個,比如有可能開發(fā)出新的計算方式,其技術更成熟、所用語言也比現(xiàn)在的更有效。

但不久后,有人動真格了。

緊跟 Williams 的發(fā)現(xiàn),密歇根大學的工程師 Wei Lu 邁出關鍵一步。他向人們展現(xiàn)了這一事實:憶阻器可充當具有彈性的突觸。他拿出了一個由幾層薄硅打造的設備(其中一層帶有少量銀離子),它可以模擬上述大腦的第二個特征。后來,Lu 展示憶阻器也可以模擬大腦的第三個特征;應用電脈沖確切時點不同(exact timing of applied electrical spikes),憶阻器做成的突觸也會有強弱變化。

這項研究表明,「對于神經(jīng)形態(tài)工程學來說,這真是激動人心的時刻,」Indiveri 說。「目前應該放棄硅晶體管,」荷蘭格羅寧根大學物理學家 Beatriz Noheda 說,聚焦研發(fā)成熟的、使用憶阻器的神經(jīng)網(wǎng)絡。

看起來,這只是擴展 Lu 研究成果的一個簡單案例。盡管他的研究只有一個單獨的突觸(帶有一個輸入和輸出神經(jīng)元),但是,結果已經(jīng)表明憶阻器可以實現(xiàn)三大重要大腦功能。接下來的研究會考慮搭建多層憶阻器神經(jīng)元網(wǎng)絡;每增加一層,網(wǎng)絡就能進行更加復雜的「思考」。

沒那么快,位于加州的 IBM Almaden 研究實驗室的 Geoffrey Burr 說。他說,Lu 所證實的脈沖時間依存的可塑性,只是在小規(guī)模上可行,但是,神經(jīng)科學家并不確定在人腦大規(guī)模學習上表現(xiàn)如何?!冈谀撤N程度上,肯定會發(fā)生,」他說,「但是,我們還搞不清狀況?!挂簿褪钦f,部署在大型人工神經(jīng)網(wǎng)絡,并不意味著可以帶來近似大腦的計算能力。

Burr 更喜歡堅持沒有脈沖時間依存的可塑性的網(wǎng)絡。他使用的一個網(wǎng)絡類似驅(qū)動 DeepMind 的神經(jīng)網(wǎng)絡,軟件控制著彈性突觸。但是,通過在憶阻器上運行這些網(wǎng)絡(而不是晶體管),他能夠節(jié)省很多能源。

2014 年,Burr 搭建了一個這樣的網(wǎng)絡,用了差不多 165000 個突觸。經(jīng)過手寫書信數(shù)據(jù)集訓練后,該網(wǎng)絡能夠準確識別這些手寫書信。Burr 的憶阻器由一種硫系玻璃(a chalcogenide glass)制成,這種材料能夠在原子有序或無序的兩相之間來回切換,改變材料導性。這種相變憶阻器正變得越來越可靠,芯片制造商們,比如英特爾開始出售使用憶阻器的內(nèi)存設備。

其他人認為,憶阻器可以幫助實現(xiàn)完全獨立學習的機器。

英國南安普頓大學納米電子學研究人員 Themis Prodromakis 就是其中一員。去年,他搭建了一個神經(jīng)網(wǎng)絡,有四個輸入,兩個輸出神經(jīng)元,用憶阻器突觸將它們連接起來。他可以輸入電子信號,比如「1001」或「0110」,這與 20 世紀 50 年代向感知機展示圓圈或三角形類似。不過,感知機需要人類告訴機器有沒有猜對圖形形狀,但 Prodromakis 的網(wǎng)絡完全自學,看到 1001 就發(fā)送(fire off)一個輸出神經(jīng)元,看到 0110 就發(fā)送另外一個。即使是帶有噪音的信號輸入,它也能正常運行。鑒于真實生活數(shù)據(jù)充滿噪音,這是一個非常重要的優(yōu)勢。

最后,我們似乎正利用憶阻器重新創(chuàng)造大腦真實狀態(tài)(比如,當你望向窗外時)的精華部分:不存在瓶頸的獨立學習。

適當加以擴展,這類自我學習系統(tǒng)就能實時篩查數(shù)據(jù),比如,監(jiān)測自動駕駛汽車行為、橋梁完整性或者核電站,對龐大數(shù)據(jù)存儲中心(比如,為社交網(wǎng)絡存儲數(shù)據(jù)的中心)的需求也會減少。由于需要冷卻,這些中心有時會建在北極附近。但是,如果憶阻器網(wǎng)絡能夠?qū)崟r解析數(shù)據(jù),那么,可能就不需要存儲數(shù)據(jù)。

由憶阻器制成的電腦還有一個潛在的優(yōu)勢:因為運行原理類似大腦,因此,與人類連接或許會更容易些。現(xiàn)在已有一些使用硅芯片的設備,它們可以獲取大腦運動進而將其轉交給現(xiàn)實世界的東西,比如,癱瘓人控制體外骨骼,或者在睡夢中控制電腦。

但是,挑戰(zhàn)依然不少。大腦神經(jīng)元行為極為復雜,現(xiàn)有的神經(jīng)接口很難處理所有那樣的信息。「要電子元件處理如此豐富、高寬帶的數(shù)據(jù),會讓它不堪重負?!筆rodromakis 說道。憶阻器,是一個完美解決方案,因為它們只記錄表現(xiàn)脈沖顯著的信號,忽略嘈雜的背景。這讓 Prodromakis 興奮不已,最近,他開始與 Galvani Bioelectronics 合作研發(fā)基于憶阻器的神經(jīng)接口。Galvani Bioelectronics,一家去年成立的英國公司,源自 GlaxoSmithKline 和谷歌子公司一個 5.4 億英鎊合作項目。

困擾憶阻器網(wǎng)絡的最大問題之一,是能否高效量產(chǎn)。運行良好的工廠可量產(chǎn)硅芯片,但也同樣適用于憶阻器嗎?

想找到答案,首先需要挑選最佳制造原料。Noheda 已在 Groningen 建立了一個研究中心從事這方面的研究。如果她和其他憶阻器先驅(qū)們獲得成功,那么,未來計算機可能會由那些四十年來、我們一度認為不存在的材料打造而成。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    蘋芯科技存算一體創(chuàng)新架構,突破邊緣AI芯片技術困局

    25%,其中,邊緣計算芯片增速達35%。這一增長勢頭背后,是可穿戴、智能安防、智慧工業(yè)等場景對低功耗、低延遲、高隱私性計算的迫切需求。 ? 然而,行業(yè)高速發(fā)展的同時,傳統(tǒng)·
    的頭像 發(fā)表于 07-17 08:01 ?4833次閱讀

    蘋芯科技 N300 存算一體 NPU,開啟端側 AI 新征程

    隨著端側人工智能技術的爆發(fā)式增長,智能設備對本地算力與能效的需求日益提高。而傳統(tǒng)·架構數(shù)據(jù)
    的頭像 發(fā)表于 05-06 17:01 ?470次閱讀
    蘋芯科技 N300 存算一體 NPU,開啟端側 AI 新征程

    大數(shù)據(jù)時代,如何提高高速PCB設計效率?

    大數(shù)據(jù)時代,無論是數(shù)據(jù)中心的解決方案、汽車與工業(yè)設備,還是日常消費電子產(chǎn)品,各類設備的信號傳輸速率正以前所未有的速度提升。以PCIe6.0為例,其傳輸速率已高達64Gbps;USB4緊隨其后,達到
    的頭像 發(fā)表于 04-23 09:44 ?447次閱讀
    <b class='flag-5'>大數(shù)據(jù)</b><b class='flag-5'>時代</b>,如何提高高速PCB設計效率?

    【「芯片通識課:一本書讀懂芯片技術」閱讀體驗】從deepseek看今天芯片發(fā)展

    神經(jīng)元并行處理問題的能力,所以NPU要用大量計算單元(也稱為“算子”)構成一個神經(jīng)網(wǎng)絡,而且這些算子的數(shù)據(jù)存儲和計算是一體化的。這就突破了傳統(tǒng)的·
    發(fā)表于 04-02 17:25

    適用于數(shù)據(jù)中心和AI時代的800G網(wǎng)絡

    ,成為新一代AI數(shù)據(jù)中心的核心驅(qū)動力。 AI時代的兩大數(shù)據(jù)中心:AI工廠與AI云 AI時代催生了兩類數(shù)據(jù)中心
    發(fā)表于 03-25 17:35

    福田歐銀河9開啟貨運新時代征途

    在貨運的浩瀚星河中,福田歐銀河9以其革命性的平臺架構、前衛(wèi)設計、多元動力選擇及智能駕駛技術,重新定義了全球重卡標準,成為引領行業(yè)的重卡“新勢力”,開啟貨運新時代征途。
    的頭像 發(fā)表于 01-13 15:01 ?562次閱讀

    開源芯片系列講座第24期:基于SRAM存算的高效計算架構

    先進的計算架構技術,以克服傳統(tǒng)架構中計算單元與存儲單元分離導致的“內(nèi)存墻”問題。基于SR
    的頭像 發(fā)表于 11-27 01:05 ?866次閱讀
    開源芯片系列講座第24期:基于SRAM存算的高效計算<b class='flag-5'>架構</b>

    《算力芯片 高性能 CPUGPUNPU 微架構分析》第3篇閱讀心得:GPU革命:從圖形引擎到AI加速器的蛻變

    對卷積核優(yōu)化的思考。 GPU的存儲體系采用了獨特的倒金字塔結構,在我看來這是其計算性能的關鍵。大容量寄存器設計破解了傳統(tǒng)架構的內(nèi)存瓶
    發(fā)表于 11-24 17:12

    直播預約 |開源芯片系列講座第24期:SRAM存算一體:賦能高能效RISC-V計算

    RISC-V計算報告簡介存算一體是一種先進的計算架構技術,以克服傳統(tǒng)架構中計算單元與存儲
    的頭像 發(fā)表于 11-16 01:10 ?715次閱讀
    直播預約 |開源芯片系列講座第24期:SRAM存算一體:賦能高能效RISC-V計算

    圖科技段愛國:AI2.0時代智能安防迎來新機遇

    成果。同時,圖科技正式推出了全新的“圖萬象”業(yè)務品牌,攜手行業(yè)伙伴合作開啟全新的“AI安防2.0”時代圖天問大模型重磅升級 引領智能安防創(chuàng)新 10月22日,
    的頭像 發(fā)表于 10-29 08:07 ?875次閱讀

    智芯科AI算力芯片的應用場景

    在這個數(shù)據(jù)驅(qū)動的時代,計算能力是推動技術進步的核心。存內(nèi)計算(Computing-in-Memory, CIM)是一種創(chuàng)新的計算架構,它將數(shù)據(jù)存儲和處理功能緊密結合在一起,從而直接在存
    的頭像 發(fā)表于 10-25 16:12 ?1258次閱讀

    智慧城市與大數(shù)據(jù)的關系

    智慧城市與大數(shù)據(jù)之間存在著密切的關系,這種關系體現(xiàn)在大數(shù)據(jù)對智慧城市建設的支撐和推動作用,以及智慧城市產(chǎn)生的大量數(shù)據(jù)大數(shù)據(jù)技術的應用需求。 大數(shù)據(jù)
    的頭像 發(fā)表于 10-24 15:27 ?1331次閱讀

    【「大模型時代的基礎架構」閱讀體驗】+ 未知領域的感受

    再到大模型云平臺的構建,此書都有提及和講解,循序漸進,讓讀者可以由點及面,由面到體的來認識大數(shù)據(jù)模型的體系架構。 前言中,作者通過提出幾個問題來引導讀者閱讀思考——分布式AI計算依賴哪些硬件特性
    發(fā)表于 10-08 10:40

    華為推動下的算力革命:技術創(chuàng)新與人才培養(yǎng)

    了基礎,·架構至今仍是現(xiàn)代計算機設計的基石。 然而,隨著AI、大數(shù)據(jù)、云計算等技術的飛速
    的頭像 發(fā)表于 08-27 14:30 ?513次閱讀

    自動駕駛三大主流芯片架構分析

    ,但是在AI應用領域也是必不可少。GPU方案GPU與CPU的架構對比CPU遵循的是·架構
    的頭像 發(fā)表于 08-19 17:11 ?2393次閱讀
    自動駕駛三大主流芯片<b class='flag-5'>架構</b>分析