資料介紹
基于數(shù)據(jù)并行化的異步隨機(jī)梯度下降(ASGD)算法由于需要在分布式計(jì)算節(jié)點(diǎn)之間頻繁交換梯度數(shù)據(jù),從而影響算法執(zhí)行效率。提出基于分布式編碼的同步隨機(jī)梯度下降(SSGD)算法,利用計(jì)算任務(wù)的冗余分發(fā)策略對(duì)每個(gè)節(jié)點(diǎn)的中間結(jié)果傳輸時(shí)間進(jìn)行量化以減少單一批次訓(xùn)練時(shí)間,并通過(guò)數(shù)據(jù)傳輸編碼策略的分組數(shù)據(jù)交換模式降低節(jié)點(diǎn)間的數(shù)據(jù)通信總量。實(shí)驗(yàn)結(jié)果表明,當(dāng)配置合適的超參數(shù)時(shí),與SSGD和ASGD算法相比,該算法在深度神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)分布式訓(xùn)練中平均減少了5397%、26.89%和39,11%、26.37%的訓(xùn)練時(shí)間,從而證明其能有效降低分布式集群的通信負(fù)載并保證神經(jīng)網(wǎng)絡(luò)的訓(xùn)練精確度。
- PyTorch教程12.5之小批量隨機(jī)梯度下降
- PyTorch教程12.4之隨機(jī)梯度下降
- MapReduce框架下分布式編碼計(jì)算容錯(cuò)算法 2次下載
- 輕量級(jí)分布式機(jī)器學(xué)習(xí)系統(tǒng)及算法 16次下載
- 一種更安全的分布式一致性算法選舉機(jī)制 9次下載
- 結(jié)合網(wǎng)絡(luò)推演和失效檢測(cè)算法的航電分布式顯控 13次下載
- 一種分布式網(wǎng)絡(luò)掃描架構(gòu)和任務(wù)調(diào)度算法 19次下載
- 快速在線(xiàn)分布式對(duì)偶平均優(yōu)化算法 5次下載
- 隨機(jī)并行梯度下降圖像匹配方法性能研究及優(yōu)化_李松洋 0次下載
- 隨機(jī)梯度估值在盲均衡算法中的影響
- WMSN的分布式視頻編碼技術(shù)研究 24次下載
- 多徑信道下的異步分布式線(xiàn)性卷積空時(shí)編碼
- 分布式認(rèn)知無(wú)線(xiàn)網(wǎng)絡(luò)中的頻譜接入凸規(guī)劃算法
- 基于DSP的分布式并行遺傳算法
- 基于混沌置亂預(yù)處理的分布式視頻編碼
- 【技術(shù)分享】EtherCAT 分布式時(shí)鐘簡(jiǎn)介 746次閱讀
- 鴻蒙分布式相機(jī)“踩坑”分享 1910次閱讀
- 如何緩解DDoS(分布式拒絕服務(wù))導(dǎo)致的性能下降 1499次閱讀
- 如何通過(guò)分布式數(shù)據(jù)管理實(shí)現(xiàn)多臺(tái)設(shè)備間的數(shù)據(jù)同步更新 3638次閱讀
- 適用于分布式MIMO系統(tǒng)中的時(shí)間頻率同步算法研究 2833次閱讀
- 利用NI VeriStand 2010實(shí)現(xiàn)分布式同步系統(tǒng)的設(shè)計(jì) 3437次閱讀
- 分布式光纖傳感器原理_分布式光纖傳感器的應(yīng)用 8835次閱讀
- 機(jī)器學(xué)習(xí)優(yōu)化算法中梯度下降,牛頓法和擬牛頓法的優(yōu)缺點(diǎn)詳細(xì)介紹 5.1w次閱讀
- 講解隨機(jī)梯度下降、類(lèi)別數(shù)據(jù)編碼、Vowpal Wabbit機(jī)器學(xué)習(xí)庫(kù) 6308次閱讀
- 淺談分布式塊存儲(chǔ)的元數(shù)據(jù)服務(wù)設(shè)計(jì) 4951次閱讀
- 梯度下降算法及其變種:批量梯度下降,小批量梯度下降和隨機(jī)梯度下降 2.1w次閱讀
- 機(jī)器學(xué)習(xí)中梯度下降法的過(guò)程 3435次閱讀
- 機(jī)器學(xué)習(xí):隨機(jī)梯度下降和批量梯度下降算法介紹 9009次閱讀
- 一種基于分布式算法的低通FIR濾波器 3282次閱讀
- 深度解讀分布式存儲(chǔ)技術(shù)之分布式剪枝系統(tǒng) 1861次閱讀
下載排行
本周
- 1DD3118電路圖紙資料
- 0.08 MB | 1次下載 | 免費(fèi)
- 2AD庫(kù)封裝庫(kù)安裝教程
- 0.49 MB | 1次下載 | 免費(fèi)
- 3PC6206 300mA低功耗低壓差線(xiàn)性穩(wěn)壓器中文資料
- 1.12 MB | 1次下載 | 免費(fèi)
- 4網(wǎng)絡(luò)安全從業(yè)者入門(mén)指南
- 2.91 MB | 1次下載 | 免費(fèi)
- 5DS-CS3A P00-CN-V3
- 618.05 KB | 1次下載 | 免費(fèi)
- 6海川SM5701規(guī)格書(shū)
- 1.48 MB | 次下載 | 免費(fèi)
- 7H20PR5電磁爐IGBT功率管規(guī)格書(shū)
- 1.68 MB | 次下載 | 1 積分
- 8IP防護(hù)等級(jí)說(shuō)明
- 0.08 MB | 次下載 | 免費(fèi)
本月
- 1貼片三極管上的印字與真實(shí)名稱(chēng)的對(duì)照表詳細(xì)說(shuō)明
- 0.50 MB | 103次下載 | 1 積分
- 2涂鴉各WiFi模塊原理圖加PCB封裝
- 11.75 MB | 89次下載 | 1 積分
- 3錦銳科技CA51F2 SDK開(kāi)發(fā)包
- 24.06 MB | 43次下載 | 1 積分
- 4錦銳CA51F005 SDK開(kāi)發(fā)包
- 19.47 MB | 19次下載 | 1 積分
- 5PCB的EMC設(shè)計(jì)指南
- 2.47 MB | 16次下載 | 1 積分
- 6HC05藍(lán)牙原理圖加PCB
- 15.76 MB | 13次下載 | 1 積分
- 7802.11_Wireless_Networks
- 4.17 MB | 12次下載 | 免費(fèi)
- 8蘋(píng)果iphone 11電路原理圖
- 4.98 MB | 6次下載 | 2 積分
總榜
- 1matlab軟件下載入口
- 未知 | 935127次下載 | 10 積分
- 2開(kāi)源硬件-PMP21529.1-4 開(kāi)關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計(jì)
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233089次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191390次下載 | 10 積分
- 5十天學(xué)會(huì)AVR單片機(jī)與C語(yǔ)言視頻教程 下載
- 158M | 183342次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81588次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費(fèi)下載
- 0.02 MB | 73815次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65989次下載 | 10 積分
評(píng)論