一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

優(yōu)步有開源光纖,一個新的庫

倩倩 ? 來源:互聯(lián)網(wǎng)分析沙龍 ? 2020-04-19 09:55 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

優(yōu)步有開源光纖,一個新的庫,旨在授權(quán)用戶在計算機(jī)集群上實現(xiàn)大規(guī)模的機(jī)器學(xué)習(xí)計算。 庫的主要目標(biāo)是利用異構(gòu)計算硬件,動態(tài)規(guī)模算法,并減輕工程師在集群上實現(xiàn)復(fù)雜算法的負(fù)擔(dān)。.

對于機(jī)器學(xué)習(xí)框架來說,保持足夠的靈活性來支持強(qiáng)化學(xué)習(xí)(RL)和基于人口的算法以及其他啟發(fā)式算法(如深度學(xué)習(xí))是一個挑戰(zhàn),因為需求可能會有很大的變化。

雖然TensorFlow和Py Torch等已建立的框架涵蓋了大多數(shù)常見機(jī)器學(xué)習(xí)方法的分布式培訓(xùn)設(shè)置,但這些框架不太適合基于RL和基于人口的方法,這往往需要與模擬器頻繁交互以及復(fù)雜和動態(tài)的縮放策略。 光纖為其分布式計算框架提供了統(tǒng)一的Python用戶界面,以支持這些新需求。

與Fiber一起發(fā)表的研究論文詳細(xì)介紹了用于評估框架開銷、進(jìn)化策略和近端策略優(yōu)化(PPO)庫的實驗。 研究人員比較了Fiber與IPy并行(iPython用于并行計算)、Spark和標(biāo)準(zhǔn)python多處理庫在框架開銷上的性能,發(fā)現(xiàn)Fiber在任務(wù)持續(xù)時間較短時優(yōu)于iPy并行和Spark,這是處理模擬器時要理解的重要指標(biāo)。

與Atari基準(zhǔn)中關(guān)于Breakout的多處理實現(xiàn)相比,F(xiàn)iber啟用的PPO分布式版本的性能表明,F(xiàn)iber可以將RL算法擴(kuò)展到本地機(jī)器之外。

光纖分成API層,后端層,簇層。. API層與標(biāo)準(zhǔn)Python多處理模塊具有相似的要求和語義,但擴(kuò)展到分布式環(huán)境中工作。

后端層可以處理多個不同集群管理器的任務(wù)通信。 最后,聚類層包含Kubernetes和Peloton等集群管理器。

光纖引入了一個新的概念,稱為工作支持過程。 當(dāng)啟動其中一個進(jìn)程時,將創(chuàng)建一個在當(dāng)前集群上帶有Fiber后端的新作業(yè)。 父容器在使用相同的容器映像啟動子進(jìn)程之前封裝所需的文件、輸入數(shù)據(jù)和該作業(yè)的任何其他依賴項,以保證一致的運行環(huán)境。 下圖更詳細(xì)地說明了這一架構(gòu):

纖維和谷歌新的分布式強(qiáng)化學(xué)習(xí)庫種子RL的發(fā)布表明,大科技公司的目標(biāo)是既降低成本,又簡化培訓(xùn)尖端機(jī)器學(xué)習(xí)算法的過程。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 光纖
    +關(guān)注

    關(guān)注

    20

    文章

    4146

    瀏覽量

    75202
  • 算法
    +關(guān)注

    關(guān)注

    23

    文章

    4709

    瀏覽量

    95353
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8501

    瀏覽量

    134584
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    基于RV1126開發(fā)板移植NCNN部署方法

    本文檔說明基于EASY EAI Nano移植NCNN部署的方法與基于NCNN成功運行yolov4的Demo。 ? ? ? ?NCNN是騰訊優(yōu)圖實驗室首個開源項目,是
    的頭像 發(fā)表于 04-16 15:24 ?222次閱讀
    基于RV1126開發(fā)板移植NCNN部署<b class='flag-5'>庫</b>方法

    Open Echo:開源的聲納項目

    “ ?這是還在迭代中的項目。開源的回聲測深儀/水深測量儀/聲吶系統(tǒng),適用于水文測繪及科研用途?;贏rduino平臺開發(fā)并具備良好兼容性? ” ? Open Echo 概覽 作為持續(xù)迭代
    的頭像 發(fā)表于 03-20 11:14 ?975次閱讀
    Open Echo:<b class='flag-5'>一</b><b class='flag-5'>個</b><b class='flag-5'>開源</b>的聲納項目

    沐曦GPU跑通DeepSeek開源代碼FlashMLA

    今日,DeepSeek正式啟動"開源周"計劃,首發(fā)代碼FlashMLA經(jīng)開源即引發(fā)全網(wǎng)關(guān)注。截至發(fā)稿,該項目已在GitHub斬獲超7.2K Star!
    的頭像 發(fā)表于 02-25 16:25 ?866次閱讀

    AI開源模型什么用

    AI開源模型作為推動AI技術(shù)發(fā)展的重要力量,正深刻改變著我們的生產(chǎn)生活方式。接下來,AI部落小編帶您了解AI開源模型什么用。
    的頭像 發(fā)表于 02-24 11:50 ?430次閱讀

    優(yōu)革新服務(wù):讓服務(wù)性動物乘車體驗再升級

    據(jù)悉,優(yōu)(Uber)推出了項新功能,旨在讓殘障人士攜帶服務(wù)性動物乘車變得更加容易。 多年來,優(yōu)對于服務(wù)性動物的政策
    的頭像 發(fā)表于 02-10 09:34 ?671次閱讀

    開源AI模型是干嘛的

    開源AI模型是指那些公開源代碼、允許自由訪問和使用的AI模型集合。這些模型通常經(jīng)過訓(xùn)練,能夠執(zhí)行特定的任務(wù)。以下,是對開源AI模型的詳細(xì)
    的頭像 發(fā)表于 12-14 10:33 ?781次閱讀

    芯原股份與開源圖形LVGL達(dá)成戰(zhàn)略合作

    為廣泛的嵌入式應(yīng)用提供優(yōu)化和擴(kuò)展的圖形處理能力。作為首批為LVGL生態(tài)系統(tǒng)提供3D GPU技術(shù)支持的提供商之,芯原將助力進(jìn)一步提升LVGL圖形的3D圖形渲染能力。
    的頭像 發(fā)表于 11-29 09:20 ?793次閱讀

    PingCAP推出TiDB開源分布式數(shù)據(jù)

    “作為款PingCAP自主研發(fā)、面向全球用戶的開源數(shù)據(jù),TiDB走在了技術(shù)的前沿。得益于第四代英特爾 至強(qiáng) 可擴(kuò)展處理器卓越的代際性能提升,以及其搭載的多種硬件加速器,我們進(jìn)一步
    的頭像 發(fā)表于 11-24 11:26 ?967次閱讀
    PingCAP推出TiDB<b class='flag-5'>開源</b>分布式數(shù)據(jù)<b class='flag-5'>庫</b>

    分享嵌入式通用FIFO環(huán)形緩沖區(qū)實現(xiàn)

    開源項目ringbuff ,是款通用FIFO環(huán)形緩沖區(qū)實現(xiàn)的開源,作者M(jìn)aJerle,遵循 MIT 開源許可協(xié)議。
    的頭像 發(fā)表于 10-23 16:20 ?1154次閱讀
    分享<b class='flag-5'>一</b><b class='flag-5'>個</b>嵌入式通用FIFO環(huán)形緩沖區(qū)實現(xiàn)<b class='flag-5'>庫</b>

    保偏光纖和普通光纖的區(qū)別是什么

    可能具有定的吸收能力,能夠吸收掉光信號中不需要的偏振分量,進(jìn)一步增強(qiáng)光信號的偏振效果。 部分保偏光纖(如SMA905光纖)在纖芯和包層之間
    的頭像 發(fā)表于 10-16 10:10 ?1785次閱讀

    優(yōu)加速電氣化進(jìn)程,電動汽車超18萬輛

    美國打車軟件巨頭優(yōu)近日宣布,其正在加速推進(jìn)電氣化措施,以實現(xiàn)零排放平臺的目標(biāo)。據(jù)優(yōu)CEO達(dá)拉·科斯羅薩西(Dara Khosrowshahi)透露,目前
    的頭像 發(fā)表于 10-11 17:49 ?783次閱讀

    優(yōu)對Wayve進(jìn)行戰(zhàn)略投資

    英國自動駕駛領(lǐng)域的創(chuàng)新先鋒Wayve公司近期宣布與全球出行巨頭優(yōu)(Uber)攜手,共同開啟自動駕駛技術(shù)的新篇章。此次合作中,優(yōu)不僅成為Wayve的重要戰(zhàn)略合作伙伴,還宣布對其進(jìn)行戰(zhàn)
    的頭像 發(fā)表于 08-30 16:12 ?1085次閱讀

    恒訊科技分析:跨境電商網(wǎng)站哪些數(shù)據(jù)系統(tǒng)是推薦使用的?

    對于跨境電商網(wǎng)站,數(shù)據(jù)系統(tǒng)的選擇非常關(guān)鍵,以下是些推薦使用的數(shù)據(jù)系統(tǒng): 1、MySQL:MySQL是流行的
    的頭像 發(fā)表于 08-12 15:01 ?820次閱讀

    光纖多少芯

    光纖的芯數(shù)并不是固定的,它可以根據(jù)不同的應(yīng)用需求和設(shè)計要求而有所不同。光纖的芯數(shù)指的是光纖內(nèi)部所含的玻璃纖維的數(shù)量,常見的光纖芯數(shù)包括1
    的頭像 發(fā)表于 08-06 09:35 ?5072次閱讀

    比亞迪攜手優(yōu)引進(jìn)10萬輛電動汽車,致力共同研發(fā)自動駕駛技術(shù)

    7月31日,來自優(yōu)科技公司和比亞迪股份有限公司的喜訊傳來,兩家企業(yè)聯(lián)手正式達(dá)成了長期戰(zhàn)略性合作伙伴關(guān)系。此次合作的重點內(nèi)容是,將有大約十萬輛比亞迪電動汽車在全球范圍內(nèi)多個優(yōu)平臺上亮
    的頭像 發(fā)表于 08-02 16:56 ?1523次閱讀