91精品人妻少妇无码一区二区,密臂无码视频专区,欧美精品一区二区三区涩爱蜜

大模型時(shí)代，模型壓縮和加速顯得尤為重要。傳統(tǒng)監(jiān)督學(xué)習(xí)可通過(guò)稀疏神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)模型壓縮和加速，那么同樣需要大量計(jì)算開(kāi)銷(xiāo)的強(qiáng)化學(xué)習(xí)任務(wù)可以基于稀疏網(wǎng)絡(luò)進(jìn)行訓(xùn)練嗎？本文提出了一種強(qiáng)化學(xué)習(xí)專(zhuān)用稀疏訓(xùn)練框架，可以節(jié)省至多 95% 的訓(xùn)練開(kāi)銷(xiāo)。

深度強(qiáng)化學(xué)習(xí)模型的訓(xùn)練通常需要很高的計(jì)算成本，因此對(duì)深度強(qiáng)化學(xué)習(xí)模型進(jìn)行稀疏化處理具有加快訓(xùn)練速度和拓展模型部署的巨大潛力。然而現(xiàn)有的生成小型模型的方法主要基于知識(shí)蒸餾，即通過(guò)迭代訓(xùn)練稠密網(wǎng)絡(luò)，訓(xùn)練過(guò)程仍需要大量的計(jì)算資源。另外，由于強(qiáng)化學(xué)習(xí)自舉訓(xùn)練的復(fù)雜性，訓(xùn)練過(guò)程中全程進(jìn)行稀疏訓(xùn)練在深度強(qiáng)化學(xué)習(xí)領(lǐng)域尚未得到充分的研究。清華大學(xué)黃隆波團(tuán)隊(duì)提出了一種強(qiáng)化學(xué)習(xí)專(zhuān)用的動(dòng)態(tài)稀疏訓(xùn)練框架，“Rigged Reinforcement Learning Lottery”（RLx2），可適用于多種離策略強(qiáng)化學(xué)習(xí)算法。它采用基于梯度的拓?fù)溲莼瓌t，能夠完全基于稀疏網(wǎng)絡(luò)訓(xùn)練稀疏深度強(qiáng)化學(xué)習(xí)模型。RLx2 引入了一種延遲多步差分目標(biāo)機(jī)制，配合動(dòng)態(tài)容量的回放緩沖區(qū)，實(shí)現(xiàn)了在稀疏模型中的穩(wěn)健值學(xué)習(xí)和高效拓?fù)涮剿鳌Ｔ诙鄠€(gè) MuJoCo 基準(zhǔn)任務(wù)中，RLx2 達(dá)到了最先進(jìn)的稀疏訓(xùn)練性能，顯示出 7.5 倍至 20 倍的模型壓縮，而僅有不到 3% 的性能降低，并且在訓(xùn)練和推理中分別減少了高達(dá) 20 倍和 50 倍的浮點(diǎn)運(yùn)算數(shù)。

論文主頁(yè)：https://arxiv.org/abs/2205.15043
論文代碼：https://github.com/tyq1024/RLx2

背景在游戲、機(jī)器人技術(shù)等領(lǐng)域，深度強(qiáng)化學(xué)習(xí)（DRL）已經(jīng)取得了重要的應(yīng)用。然而，深度強(qiáng)化學(xué)習(xí)模型的訓(xùn)練需要巨大的計(jì)算資源。例如，DeepMind 開(kāi)發(fā)的 AlphaGo-Zero 在圍棋游戲中擊敗了已有的圍棋 AI 和人類(lèi)專(zhuān)家，但需要在四個(gè) TPU 上進(jìn)行 40 多天的訓(xùn)練。OpenAI-Five 是 OpenAI 開(kāi)發(fā)的 Dota2 AI，同樣擊敗了人類(lèi)半職業(yè) Dota 高手，但是需要高達(dá) 256 個(gè) GPU 進(jìn)行 180 天的訓(xùn)練。實(shí)際上，即使是簡(jiǎn)單的 Rainbow DQN [Hessel et al. 2018] 算法，也需要在單個(gè) GPU 上訓(xùn)練約一周時(shí)間才能達(dá)到較好的性能。

圖：基于強(qiáng)化學(xué)習(xí)的 AlphaGo-Zero 在圍棋游戲中擊敗了已有的圍棋 AI 和人類(lèi)專(zhuān)家 高昂的資源消耗限制了深度強(qiáng)化學(xué)習(xí)在資源受限設(shè)備上的訓(xùn)練和部署。為了解決這一問(wèn)題，作者引入了稀疏神經(jīng)網(wǎng)絡(luò)。稀疏神經(jīng)網(wǎng)絡(luò)最初在深度監(jiān)督學(xué)習(xí)中提出，展示出了對(duì)深度強(qiáng)化學(xué)習(xí)模型壓縮和訓(xùn)練加速的巨大潛力。在深度監(jiān)督學(xué)習(xí)中，SET [Mocanu et al. 2018] 和 RigL [Evci et al. 2020] 等常用的基于網(wǎng)絡(luò)結(jié)構(gòu)演化的動(dòng)態(tài)稀疏訓(xùn)練（Dynamic sparse training - DST）框架可以從頭開(kāi)始訓(xùn)練一個(gè) 90% 稀疏的神經(jīng)網(wǎng)絡(luò)，而不會(huì)出現(xiàn)性能下降。

圖：SET 和 RigL 等常用的稀疏訓(xùn)練框架會(huì)在訓(xùn)練的過(guò)程中周期性地調(diào)整神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 在深度強(qiáng)化學(xué)習(xí)領(lǐng)域，已有的工作已經(jīng)成功生成了極度稀疏的深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)。然而，他們的方法仍然需要迭代地訓(xùn)練稠密網(wǎng)絡(luò)，往往需要預(yù)訓(xùn)練的稠密模型作為基礎(chǔ)，導(dǎo)致深度強(qiáng)化學(xué)習(xí)的訓(xùn)練成本仍然過(guò)高，無(wú)法直接應(yīng)用于資源有限設(shè)備。

圖：迭代剪枝通過(guò)迭代地訓(xùn)練稠密網(wǎng)絡(luò)得到稀疏的深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò) 從頭開(kāi)始訓(xùn)練一個(gè)稀疏深度強(qiáng)化學(xué)習(xí)模型，如果能夠完美實(shí)現(xiàn)，將極大地減少計(jì)算開(kāi)銷(xiāo)，并實(shí)現(xiàn)在資源受限設(shè)備上的高效部署，具備優(yōu)秀的模型適應(yīng)性。然而，在深度強(qiáng)化學(xué)習(xí)中從頭開(kāi)始訓(xùn)練一個(gè)超稀疏網(wǎng)絡(luò)（例如 90% 的稀疏度）具有挑戰(zhàn)性，原因在于自舉訓(xùn)練（Bootstrap training）的非穩(wěn)定性。在深度強(qiáng)化學(xué)習(xí)中，學(xué)習(xí)目標(biāo)不是固定的，而是以自舉方式給出，訓(xùn)練數(shù)據(jù)的分布也可能是非穩(wěn)定的。此外，使用稀疏網(wǎng)絡(luò)結(jié)構(gòu)意味著在一個(gè)較小的假設(shè)空間中搜索，這進(jìn)一步降低了學(xué)習(xí)目標(biāo)的置信度。因此，不當(dāng)?shù)南∈杌赡軐?duì)學(xué)習(xí)路徑造成不可逆的傷害，導(dǎo)致性能較差。最近的研究 [Sokar et al. 2021] 表明，在深度強(qiáng)化學(xué)習(xí)中直接采用動(dòng)態(tài)稀疏訓(xùn)練框架仍然無(wú)法在不同環(huán)境中實(shí)現(xiàn)模型的良好壓縮。因此，這一重要的開(kāi)放問(wèn)題仍然懸而未決：

能否通過(guò)全程使用超稀疏網(wǎng)絡(luò)從頭訓(xùn)練出高效的深度強(qiáng)化學(xué)習(xí)智能體？

方法清華大學(xué)黃隆波團(tuán)隊(duì)對(duì)這一問(wèn)題給出了肯定的答案，并提出了一種強(qiáng)化學(xué)習(xí)專(zhuān)用的動(dòng)態(tài)稀疏訓(xùn)練框架，“Rigged Reinforcement Learning Lottery”（RLx2），用于離策略強(qiáng)化學(xué)習(xí)（Off-policy RL）。這是第一個(gè)在深度強(qiáng)化學(xué)習(xí)領(lǐng)域以 90% 以上稀疏度進(jìn)行全程稀疏訓(xùn)練，并且僅有微小性能損失的算法框架。RLx2 受到了在監(jiān)督學(xué)習(xí)中基于梯度的拓?fù)溲莼膭?dòng)態(tài)稀疏訓(xùn)練方法 RigL [Evci et al. 2020] 的啟發(fā)。然而，直接應(yīng)用 RigL 無(wú)法實(shí)現(xiàn)高稀疏度，因?yàn)橄∈璧纳疃葟?qiáng)化學(xué)習(xí)模型由于假設(shè)空間有限而導(dǎo)致價(jià)值估計(jì)不可靠，進(jìn)而干擾了網(wǎng)絡(luò)結(jié)構(gòu)的拓?fù)溲莼?/span> 因此，RLx2 引入了延遲多步差分目標(biāo)（Delayed multi-step TD target）機(jī)制和動(dòng)態(tài)容量回放緩沖區(qū)（Dynamic capacity buffer），以實(shí)現(xiàn)穩(wěn)健的價(jià)值學(xué)習(xí)（Value learning）。這兩個(gè)新組件解決了稀疏拓?fù)湎碌膬r(jià)值估計(jì)問(wèn)題，并與基于 RigL 的拓?fù)溲莼瘻?zhǔn)則一起實(shí)現(xiàn)了出色的稀疏訓(xùn)練性能。為了闡明設(shè)計(jì) RLx2 的動(dòng)機(jī)，作者以一個(gè)簡(jiǎn)單的 MuJoCo 控制任務(wù) InvertedPendulum-v2 為例，對(duì)四種使用不同價(jià)值學(xué)習(xí)和網(wǎng)絡(luò)拓?fù)涓路桨傅南∈栌?xùn)練方法進(jìn)行了比較。

圖：不同網(wǎng)絡(luò)結(jié)構(gòu)更新方案的性能比較。其中，SS 表示采用靜態(tài)稀疏網(wǎng)絡(luò)，RigL 表示使用基于梯度的網(wǎng)絡(luò)拓?fù)溲莼姆椒ǎ琑igL+Q * 表示使用 RigL 的拓?fù)溲莼也捎谜鎸?shí)值函數(shù)引導(dǎo)自舉訓(xùn)練的方法（真實(shí)值函數(shù)在實(shí)際算法中并不可知），RLx2 表示使用 RigL 網(wǎng)絡(luò)拓?fù)溲莼也捎米髡咚嶂倒酪龑?dǎo)自舉訓(xùn)練的方法?？梢园l(fā)現(xiàn)，RLx2 的性能已經(jīng)非常逼近 RigL+Q * 的方法。下圖展示了 RLx2 算法的主要部分，包括基于梯度的拓?fù)溲莼⒀舆t多步差分目標(biāo)和動(dòng)態(tài)容量回放緩沖區(qū)。

圖：RLx2 算法的概覽 基于梯度的拓?fù)溲莼?/strong> 在 RLx2 中，作者采用了與 RigL [Evci et al. 2020] 相同的方法來(lái)進(jìn)行拓?fù)浣Y(jié)構(gòu)的演化。作者計(jì)算了損失函數(shù)對(duì)網(wǎng)絡(luò)權(quán)重的梯度值。然后，周期性地增加稀疏網(wǎng)絡(luò)中具有較大梯度的連接，并移除權(quán)重絕對(duì)值最小的現(xiàn)有連接。通過(guò)周期性的結(jié)構(gòu)演化，獲得了一個(gè)結(jié)構(gòu)合理的稀疏神經(jīng)網(wǎng)絡(luò)。 延遲多步差分目標(biāo) RLx2 框架還引入了多步差分目標(biāo)：

這一概念在現(xiàn)有研究中 [Munos et al. 2016] 已被證實(shí)能夠改善差分學(xué)習(xí)（TD learning）。作者還發(fā)現(xiàn)，引入多步目標(biāo)可以通過(guò)折扣因子減少稀疏網(wǎng)絡(luò)的擬合誤差，如下式所示：

然而，訓(xùn)練伊始立即采用多步差分目標(biāo)可能會(huì)導(dǎo)致更大的策略不一致誤差。因此，作者額外采用了延遲方案來(lái)抑制策略不一致性并進(jìn)一步提高值函數(shù)的學(xué)習(xí)效果。 動(dòng)態(tài)容量回放緩沖區(qū) 離策略（Off-policy）算法使用回放緩沖區(qū)（Replay buffer）來(lái)存儲(chǔ)收集到的數(shù)據(jù)，并使用從緩沖區(qū)中抽樣的批次數(shù)據(jù)來(lái)訓(xùn)練網(wǎng)絡(luò)。研究表明 [Fedus et al. 2020]，當(dāng)使用更大的回放容量時(shí)，算法的性能通常會(huì)提高。然而，無(wú)限大小的回放緩沖區(qū)會(huì)因?yàn)槎嗖侥繕?biāo)的不一致性和訓(xùn)練數(shù)據(jù)的不匹配導(dǎo)致策略不一致性。動(dòng)態(tài)容量回放緩沖區(qū)是一種通過(guò)調(diào)整緩沖區(qū)容量控制緩沖區(qū)中數(shù)據(jù)的不一致性，以實(shí)現(xiàn)穩(wěn)健值函數(shù)學(xué)習(xí)的方法。作者引入了以下策略距離度量來(lái)評(píng)估緩沖區(qū)中數(shù)據(jù)的不一致性：

隨著訓(xùn)練的進(jìn)行，當(dāng)回放緩存中的策略距離度量大于閾值時(shí)，則停止增加緩沖區(qū)容量，使得策略距離度量始終小于設(shè)定的閾值。 實(shí)驗(yàn) 作者在四個(gè) MuJoCo 環(huán)境（HalfCheetah-v3、Hopper-v3、Walker2d-v3 和 Ant-v3），和兩個(gè)常見(jiàn)的深度強(qiáng)化學(xué)習(xí)算法 TD3 和 SAC 中進(jìn)行了實(shí)驗(yàn)。作者定義了一個(gè)終極壓縮比率，即在該比率下，RLx2 的性能下降在原始稠密模型的 ±3% 之內(nèi)。這也可以理解為具有與原始稠密模型完全相同性能的稀疏模型的最小大小。根據(jù)終極壓縮比率，作者在下表中呈現(xiàn)了不同算法在不同環(huán)境采用相同參數(shù)量的神經(jīng)網(wǎng)絡(luò)的性能。

性能在所有四個(gè)環(huán)境中，RLx2 的性能在很大程度上優(yōu)于所有基準(zhǔn)算法（除了 Hopper 環(huán)境中與 RigL 和 SAC 的性能相近）。此外，小型稠密網(wǎng)絡(luò)（Tiny）和隨機(jī)靜態(tài)稀疏網(wǎng)絡(luò)（SS）的性能平均最差。SET 和 RigL 的性能較好，但在 Walker2d-v3 和 Ant-v3 環(huán)境中無(wú)法保持性能，這意味著在稀疏訓(xùn)練下穩(wěn)健的價(jià)值學(xué)習(xí)是必要的。 模型壓縮 RLx2 實(shí)現(xiàn)了優(yōu)秀的壓縮比，并且僅有輕微的性能下降（不到 3%）。具體而言，使用 TD3 算法的 RLx2 實(shí)現(xiàn)了 7.5 倍至 25 倍的模型壓縮，在 Hopper-v3 環(huán)境中獲得了最佳的 25 倍壓縮比。在每個(gè)環(huán)境中，演員網(wǎng)絡(luò)（Actor network）可以壓縮超過(guò) 96% 的參數(shù)，評(píng)論家網(wǎng)絡(luò)（Critic network）可以壓縮 85% 至 95% 的參數(shù)。SAC 算法的結(jié)果類(lèi)似。另外，使用 SAC 算法的 RLx2 實(shí)現(xiàn)了 5 倍至 20 倍的模型壓縮。 節(jié)省訓(xùn)練開(kāi)銷(xiāo) 與基于知識(shí)蒸餾或行為克隆的方法 [Vischer et al. 2021] 不同，RLx2 在整個(gè)訓(xùn)練過(guò)程中使用了稀疏網(wǎng)絡(luò)。因此，它具有加速訓(xùn)練并節(jié)省計(jì)算資源的額外潛力。四個(gè)環(huán)境的平均結(jié)果表明，表格中 RLx2-TD3 分別減少了 12 倍和 20 倍的訓(xùn)練和推理浮點(diǎn)運(yùn)算數(shù)，RLx2-SAC 分別減少了 7 倍和 12 倍的訓(xùn)練和推理浮點(diǎn)運(yùn)算數(shù)。 總結(jié) 作者提出了一種用于離策略強(qiáng)化學(xué)習(xí)的稀疏訓(xùn)練框架 RLx2，能夠適用于各種離策略強(qiáng)化學(xué)習(xí)算法。這一框架利用基于梯度的結(jié)構(gòu)演化方法實(shí)現(xiàn)了高效的拓?fù)涮剿?，并通過(guò)延遲多步差分目標(biāo)和動(dòng)態(tài)容量回放緩沖區(qū)建立了穩(wěn)健的值函數(shù)學(xué)習(xí)。RLx2 不需要像傳統(tǒng)剪枝方法一樣預(yù)訓(xùn)練稠密網(wǎng)絡(luò)，卻能夠在訓(xùn)練過(guò)程中使用超稀疏網(wǎng)絡(luò)來(lái)訓(xùn)練高效的深度強(qiáng)化學(xué)習(xí)智能體，并且?guī)缀鯖](méi)有性能損失。作者在使用 TD3 和 SAC 的 RLx2 上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明其稀疏訓(xùn)練性能非常出色：模型壓縮比例為 7.5 倍至 20 倍，性能下降不到 3%，訓(xùn)練和推理的浮點(diǎn)運(yùn)算數(shù)分別減少高達(dá) 20 倍和 50 倍。作者認(rèn)為未來(lái)有趣的工作包括將 RLx2 框架擴(kuò)展到更復(fù)雜的 RL 場(chǎng)景，這些場(chǎng)景對(duì)計(jì)算資源的需求更高，例如多智能體、離線強(qiáng)化學(xué)習(xí)等場(chǎng)景，也包括真實(shí)世界的復(fù)雜決策問(wèn)題而非標(biāo)準(zhǔn)的 MuJoCo 環(huán)境。 參考文獻(xiàn)1.Hessel, Matteo, et al. "Rainbow: Combining improvements in deep reinforcement learning." Proceedings of the AAAI conference on artificial intelligence. Vol. 32. No. 1. 2018.2.Mocanu, Decebal Constantin, et al. "Scalable training of artificial neural networks with adaptive sparse connectivity inspired by network science." Nature communications 9.1 (2018): 2383.3.Evci, Utku, et al. "Rigging the lottery: Making all tickets winners." International Conference on Machine Learning. PMLR, 2020.4.Sokar, Ghada, et al. "Dynamic sparse training for deep reinforcement learning." arXiv preprint arXiv:2106.04217 (2021).5.Munos, Rémi, et al. "Safe and efficient off-policy reinforcement learning." Advances in neural information processing systems 29 (2016).6.Fedus, William, et al. "Revisiting fundamentals of experience replay." International Conference on Machine Learning. PMLR, 2020.7.Vischer, Marc Aurel, Robert Tjarko Lange, and Henning Sprekeler. "On lottery tickets and minimal task representations in deep reinforcement learning." arXiv preprint arXiv:2105.01648 (2021).

原文標(biāo)題：ICLR 2023 Spotlight｜節(jié)省95%訓(xùn)練開(kāi)銷(xiāo)，清華黃隆波團(tuán)隊(duì)提出強(qiáng)化學(xué)習(xí)專(zhuān)用稀疏訓(xùn)練框架RLx2

文章出處：【微信公眾號(hào)：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。舉報(bào)投訴

物聯(lián)網(wǎng)

物聯(lián)網(wǎng)

+關(guān)注

關(guān)注
2930

文章
46218

瀏覽量
392166

原文標(biāo)題：ICLR 2023 Spotlight｜節(jié)省95%訓(xùn)練開(kāi)銷(xiāo)，清華黃隆波團(tuán)隊(duì)提出強(qiáng)化學(xué)習(xí)專(zhuān)用稀疏訓(xùn)練框架RLx2

文章出處：【微信號(hào)：tyutcsplab，微信公眾號(hào)：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

收藏人收藏

掃一掃，分享給好友

復(fù)制鏈接分享

加入交流群

掃碼添加小助手

加入工程師交流群

評(píng)論

發(fā)布評(píng)論請(qǐng)先登錄

相關(guān)推薦

熱點(diǎn)推薦

清華光芯片取得新突破，邁向AI光訓(xùn)練

電子發(fā)燒友網(wǎng)報(bào)道（文/吳子鵬）近日，清華大學(xué)發(fā)布官方消息稱(chēng)，清華大學(xué)電子工程系方璐教授課題組、自動(dòng)化系戴瓊海院士課題組另辟蹊徑，首創(chuàng)了全前向智能光計(jì)算訓(xùn)練架構(gòu)，研制了“太極-II”光訓(xùn)練

發(fā)表于 08-13 01:23 ?3757次閱讀

NVIDIA Isaac Lab可用環(huán)境與強(qiáng)化學(xué)習(xí)腳本使用指南

Lab 是一個(gè)適用于機(jī)器人學(xué)習(xí)的開(kāi)源模塊化框架，其模塊化高保真仿真適用于各種訓(xùn)練環(huán)境，Isaac Lab 同時(shí)支持模仿學(xué)習(xí)（模仿人類(lèi)）和強(qiáng)化學(xué)習(xí)

發(fā)表于 07-14 15:29 ?406次閱讀

【書(shū)籍評(píng)測(cè)活動(dòng)NO.62】一本書(shū)讀懂 DeepSeek 全家桶核心技術(shù)：DeepSeek 核心技術(shù)揭秘

與 PPO 對(duì)比示意圖 03.獎(jiǎng)勵(lì)模型的創(chuàng)新在強(qiáng)化學(xué)習(xí)的訓(xùn)練過(guò)程中，DeepSeek 研究團(tuán)隊(duì)選擇面向結(jié)果的獎(jiǎng)勵(lì)模型，而不是通常的面向過(guò)程的獎(jiǎng)勵(lì)模型。這種方式可以較好地避免獎(jiǎng)勵(lì)欺騙，同時(shí)，由于

發(fā)表于 06-09 14:38

海思SD3403邊緣計(jì)算AI數(shù)據(jù)訓(xùn)練概述

AI數(shù)據(jù)訓(xùn)練：基于用戶特定應(yīng)用場(chǎng)景，用戶采集照片或視頻，通過(guò)AI數(shù)據(jù)訓(xùn)練工程師**（用戶公司****員工）** ，進(jìn)行特征標(biāo)定后，將標(biāo)定好的訓(xùn)練樣本，通過(guò)AI訓(xùn)練服務(wù)器，進(jìn)行AI

發(fā)表于 04-28 11:11

詳解RAD端到端強(qiáng)化學(xué)習(xí)后訓(xùn)練范式

受限于算力和數(shù)據(jù)，大語(yǔ)言模型預(yù)訓(xùn)練的 scalinglaw 已經(jīng)趨近于極限。DeepSeekR1/OpenAl01通過(guò)強(qiáng)化學(xué)習(xí)后訓(xùn)練涌現(xiàn)了強(qiáng)大的推理能力,掀起新一輪技術(shù)革新。

發(fā)表于 02-25 14:06 ?589次閱讀

字節(jié)豆包大模型團(tuán)隊(duì)提出稀疏模型架構(gòu)

字節(jié)跳動(dòng)豆包大模型Foundation團(tuán)隊(duì)近期研發(fā)出UltraMem，一種創(chuàng)新的稀疏模型架構(gòu)，旨在解決推理過(guò)程中的訪存問(wèn)題，同時(shí)確保模型效果不受影響。

發(fā)表于 02-13 15:25 ?633次閱讀

大模型訓(xùn)練框架(五)之Accelerate

Hugging Face 的 Accelerate1是一個(gè)用于簡(jiǎn)化和加速深度學(xué)習(xí)模型訓(xùn)練的庫(kù)，它支持在多種硬件配置上進(jìn)行分布式訓(xùn)練，包括 CPU、GPU、TPU 等。Accelerate 允許用戶

發(fā)表于 01-14 14:24 ?704次閱讀

港大提出SparX:強(qiáng)化Vision Mamba和Transformer的稀疏跳躍連接機(jī)制

本文分享香港大學(xué)計(jì)算和數(shù)據(jù)科學(xué)學(xué)院俞益洲教授及其研究團(tuán)隊(duì)發(fā)表于 AAAI 2025 的論文——SparX，一種強(qiáng)化 Vision Mamba 和 Transformer 的稀疏跳躍連接機(jī)制，性能強(qiáng)大

發(fā)表于 01-03 09:28 ?694次閱讀

PyTorch GPU 加速訓(xùn)練模型方法

在深度學(xué)習(xí)領(lǐng)域，GPU加速訓(xùn)練模型已經(jīng)成為提高訓(xùn)練效率和縮短訓(xùn)練時(shí)間的重要手段。PyTorch作為一個(gè)流行的深度學(xué)習(xí)

發(fā)表于 11-05 17:43 ?1398次閱讀

如何使用 PyTorch 進(jìn)行強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)（Reinforcement Learning, RL）是一種機(jī)器學(xué)習(xí)方法，它通過(guò)與環(huán)境的交互來(lái)學(xué)習(xí)如何做出決策，以最大化累積獎(jiǎng)勵(lì)。PyTorch 是一個(gè)流行的開(kāi)源機(jī)器學(xué)習(xí)庫(kù)，

發(fā)表于 11-05 17:34 ?1036次閱讀

什么是協(xié)議分析儀和訓(xùn)練器

協(xié)議分析儀和訓(xùn)練器是兩種不同但相關(guān)的設(shè)備或工具，它們?cè)诰W(wǎng)絡(luò)通信、電子設(shè)計(jì)和測(cè)試等領(lǐng)域發(fā)揮著重要作用。以下是對(duì)這兩種設(shè)備的詳細(xì)解釋?zhuān)阂?、協(xié)議分析儀定義：協(xié)議分析儀（Protocol Analyzer

發(fā)表于 10-29 14:33

冠軍說(shuō)｜第二屆OpenHarmony競(jìng)賽訓(xùn)練營(yíng)冠軍團(tuán)隊(duì)專(zhuān)訪

在剛剛結(jié)束的第三屆OpenHarmony技術(shù)大會(huì)上今年的OpenHarmony競(jìng)賽訓(xùn)練營(yíng)獲獎(jiǎng)團(tuán)隊(duì) 舉行了星光熠熠的頒獎(jiǎng)儀式 10月11日，經(jīng)過(guò)激烈的現(xiàn)場(chǎng)決賽角逐共有10個(gè)賽隊(duì)脫穎而出其中來(lái)自

發(fā)表于 10-28 17:11

Pytorch深度學(xué)習(xí)訓(xùn)練的方法

掌握這 17 種方法，用最省力的方式，加速你的 Pytorch 深度學(xué)習(xí)訓(xùn)練。

發(fā)表于 10-28 14:05 ?651次閱讀

直播預(yù)約 |數(shù)據(jù)智能系列講座第4期：預(yù)訓(xùn)練的基礎(chǔ)模型下的持續(xù)學(xué)習(xí)

鷺島論壇數(shù)據(jù)智能系列講座第4期「預(yù)訓(xùn)練的基礎(chǔ)模型下的持續(xù)學(xué)習(xí)」10月30日（周三）20：00精彩開(kāi)播期待與您云相聚，共襄學(xué)術(shù)盛宴！|直播信息報(bào)告題目預(yù)訓(xùn)練的基礎(chǔ)模型下的持續(xù)學(xué)習(xí)報(bào)告簡(jiǎn)介

發(fā)表于 10-18 08:09 ?589次閱讀

電磁干擾訓(xùn)練系統(tǒng)原理是什么

智慧華盛恒輝電磁干擾訓(xùn)練系統(tǒng)的原理主要基于電磁干擾(EMI)的基本原理，即利用電磁波對(duì)電子設(shè)備或系統(tǒng)產(chǎn)生的干擾，通過(guò)模擬真實(shí)的電磁環(huán)境，對(duì)受訓(xùn)人員進(jìn)行電磁干擾應(yīng)對(duì)能力的訓(xùn)練。以下是電磁干擾訓(xùn)練

發(fā)表于 07-22 16:34 ?746次閱讀

一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

搜索歷史

ICLR 2023 Spotlight｜節(jié)省95%訓(xùn)練開(kāi)銷(xiāo)，清華黃隆波團(tuán)隊(duì)提出強(qiáng)化學(xué)習(xí)專(zhuān)用稀疏訓(xùn)練框架RLx2

評(píng)論