淺談搭載20片寒武紀(jì)芯片的神經(jīng)元計(jì)算服務(wù)器的獨(dú)到之處
曙光在過去幾年當(dāng)中,高度重視人工智能技術(shù)和產(chǎn)品發(fā)展。據(jù)報(bào)道,曙光和寒武紀(jì)簽約了戰(zhàn)略合作,兩個(gè)研發(fā)團(tuán)隊(duì)研發(fā)出了一款“PHANERON”推理專用服務(wù)器,這是世界首款在推理應(yīng)用上采用神經(jīng)元計(jì)算的服務(wù)器產(chǎn)品。
10月24日,2017中科曙光智能峰會(huì)在青島盛大開幕。包括中國工程院原常務(wù)副院長、院士潘云鶴,中國工程院院士、曙光公司董事長李國杰、中國工程院院士潘德爐在內(nèi)的一大批專家和企業(yè)界代表參加大會(huì)。在大會(huì)上,曙光發(fā)布了全球首款在推理應(yīng)用上采用神經(jīng)元計(jì)算的服務(wù)器產(chǎn)品;以及能夠快速釋放計(jì)算能力的人工智能管理平臺(tái)SothisAI。那么,這款搭載了20片寒武紀(jì)芯片的服務(wù)器有何獨(dú)到之處呢?人工智能管理平臺(tái)SothisAI又用怎樣的用武之地?我們邀請(qǐng)了曙光公司副總裁沙超群為大家答疑解惑。
潘云鶴院士
科工力量:作為服務(wù)器廠商,曙光為何這么重視人工智能?
沙超群:了解曙光的朋友們都知道,曙光這家公司從李院士和歷軍總裁創(chuàng)立之初,我們專注于計(jì)算,在過去的高性能計(jì)算、云計(jì)算、大數(shù)據(jù)處理等通用計(jì)算,我們都是專注在計(jì)算領(lǐng)域,別得也干不了,計(jì)算我們干得還不錯(cuò)。今年國務(wù)院也印發(fā)了我國人工智能的發(fā)展規(guī)劃,人工智能技術(shù)是信息產(chǎn)業(yè)發(fā)展的新方向,也是我們曙光所從事的高性能計(jì)算機(jī)發(fā)展的未來新的應(yīng)用領(lǐng)域。曙光在未來大型計(jì)算機(jī)的研發(fā)和應(yīng)用過程中,人工智能也一定是最重要的發(fā)展方向。
科工力量:曙光已經(jīng)有哪些應(yīng)用和產(chǎn)品?
沙超群:曙光在過去幾年當(dāng)中,高度重視人工智能技術(shù)和產(chǎn)品發(fā)展。我們已經(jīng)在一些超級(jí)計(jì)算機(jī)的應(yīng)用方面,大量采用了人工智能的技術(shù)。比如新疆的云計(jì)算中心通過超級(jí)計(jì)算機(jī)進(jìn)行實(shí)時(shí)視頻圖像的分析和處理,以便為平安城市等帶來社會(huì)效益。同時(shí),曙光的百城百行云計(jì)算發(fā)展計(jì)劃當(dāng)中,城市數(shù)據(jù)已經(jīng)經(jīng)過了近十年的積累,形成了比較大規(guī)模的數(shù)據(jù)量。在曙光的發(fā)布會(huì)上,我們公布了三款產(chǎn)品,分別是“PHANERON”推理專用服務(wù)器、曙光的X860-LE全浸沒式液冷的AI訓(xùn)練專用服務(wù)器和曙光人工智能管理平臺(tái)SothisAI。
在2016年數(shù)據(jù)中國加速計(jì)劃的會(huì)議上,曙光和寒武紀(jì)簽約了戰(zhàn)略合作,經(jīng)過一年的時(shí)間,兩個(gè)研發(fā)團(tuán)隊(duì)研發(fā)出了一款“PHANERON”推理專用服務(wù)器,這是世界首款在推理應(yīng)用上采用神經(jīng)元計(jì)算的服務(wù)器產(chǎn)品,這個(gè)名字的意思大概是這樣的,是取自“顯生宙”的詞頭,象征著采用神經(jīng)元進(jìn)行在線推理計(jì)算。
科工力量:這款“PHANERON”推理專用服務(wù)器有什么特別之處么?
沙超群:這樣一款產(chǎn)品在4U空間中部署20個(gè)人工智能前端推理模塊,能夠?yàn)橥评硖峁?qiáng)大的計(jì)算支持,單位節(jié)點(diǎn)峰值推理計(jì)算能力達(dá)到120TFlops,還通過提高密度來降低總體服務(wù)器的部署數(shù)量,可顯著降低項(xiàng)目總體投資。今天推理用的在線服務(wù)器產(chǎn)品,由于它的應(yīng)用模式,大概一臺(tái)機(jī)器可以頂上20臺(tái)通用的服務(wù)器產(chǎn)品,也就是1:20,大家可以想象在成本空間的節(jié)約上,優(yōu)勢(shì)非常大。
其實(shí)更讓我個(gè)人興奮的不是這款產(chǎn)品,而是計(jì)劃明年年底推出PHANERON2這個(gè)產(chǎn)品,性能提升5-6倍,那時(shí)候一臺(tái)這樣的服務(wù)器可以頂上100臺(tái)通用的服務(wù)器產(chǎn)品。
李國杰院士
科工力量:能介紹下曙光的X860-LE全浸沒式液冷的AI訓(xùn)練專用服務(wù)器么?
沙超群:在機(jī)器學(xué)習(xí)方面,我們由于需要大量圖片深度分析,最早從提供2U,到現(xiàn)在是8U,一個(gè)2U的設(shè)備空間基本沒有辦法解決散熱。數(shù)據(jù)中心42U可以放20臺(tái)這樣的設(shè)備,功耗是60千瓦,大概在一個(gè)柜子里面,500瓦的電爐子,可以放120個(gè)電爐子。風(fēng)冷解決方案對(duì)該量級(jí)的散熱問題已經(jīng)束手無策。
曙光的X860-LE全浸沒式液冷的AI訓(xùn)練專用服務(wù)器就是專門解決能耗和噪音的問題,我們把它浸沒在液體當(dāng)中,通過蒸發(fā)把熱量帶走。這個(gè)產(chǎn)品有兩個(gè)特點(diǎn):第一個(gè)是業(yè)界最高密度的GPU的訓(xùn)練平臺(tái)。它是世界上PUE(注:Power Usage Effectiveness的簡(jiǎn)寫,是評(píng)價(jià)數(shù)據(jù)中心能源效率的指標(biāo))最低的訓(xùn)練的服務(wù)器產(chǎn)品,它的PUE能到1.02。剛剛談到了噪音的問題,這個(gè)系統(tǒng)第二個(gè)特點(diǎn)就是零噪音。
回到PUE的問題,今天我們的數(shù)據(jù)中心大概PUE會(huì)在1.6-2.0,我們這個(gè)產(chǎn)品的PUE是1.02。大概算一下,一個(gè)300瓦的GPU,在制冷方面的能耗節(jié)約大概180瓦,如果現(xiàn)在PUE是1.6的話,一個(gè)GPU每年省電是1200元。今天很多客戶這種GPU的采購已經(jīng)是2萬片-3萬片,僅僅在這一塊的節(jié)能就是巨大的,同時(shí)也節(jié)約了大概兩三千萬的運(yùn)營費(fèi)用。
非常好我支持^.^
(0) 0%
不好我反對(duì)
(0) 0%
相關(guān)閱讀:
- [電子說] 華為與龍崗區(qū)政府簽署全面戰(zhàn)略合作協(xié)議 2024-12-05
- [電子說] 人工智能加速產(chǎn)業(yè)升級(jí),又一地區(qū)重點(diǎn)布局傳感器 2024-12-05
- [電子說] IBM TechXchange 2024精彩前瞻 2024-12-05
- [電子說] 自然語言處理在聊天機(jī)器人中的應(yīng)用 2024-12-05
- [電子說] 自然語言處理與機(jī)器學(xué)習(xí)的關(guān)系 自然語言處理的基本概念及步驟 2024-12-05
- [電子說] 商湯科技亮相全國工商聯(lián)人工智能委員會(huì)成立大會(huì) 2024-12-05
- [電子說] 長城汽車Coffee Agent大模型通過生成式人工智能服務(wù)備案 2024-12-05
- [電子說] 馬斯克xAI計(jì)劃:孟菲斯超算集群將擴(kuò)大十倍 2024-12-05
( 發(fā)表人:黃昊宇 )