英偉達推出歸一化Transformer，革命性提升LLM訓(xùn)練速度
英偉達團隊近日在AI領(lǐng)域投下了一枚震撼彈，他們提出了一種全新的神經(jīng)網(wǎng)絡(luò)架構(gòu)——歸一化Transformer(nGPT)。這一創(chuàng)新架構(gòu)基于超球面(hypersphere)進行表示學(xué)習(xí)，為AI領(lǐng)域帶來了新的突破。
相較于傳統(tǒng)的Transformer架構(gòu)，nGPT在保持原有精度的同時，直接將大型語言模型(LLM)的訓(xùn)練速度提升了高達20倍。這一顯著的性能提升，無疑將極大地推動AI技術(shù)的發(fā)展和應(yīng)用。
在nGPT中，所有的向量(包括嵌入向量、多層感知機(MLP)向量、注意力矩陣向量以及隱藏狀態(tài)向量)都被歸一化為單位范數(shù)(unit norm)。這一設(shè)計不僅簡化了模型訓(xùn)練過程，還提高了模型的穩(wěn)定性和泛化能力。
英偉達團隊的這一創(chuàng)新成果，無疑為AI領(lǐng)域注入了新的活力。nGPT架構(gòu)的提出，不僅將推動AI技術(shù)的進一步發(fā)展，還將為各種應(yīng)用場景提供更加高效、準確的解決方案。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4814瀏覽量
103657 -
英偉達
+關(guān)注
關(guān)注
22文章
3953瀏覽量
93808 -
Transformer
+關(guān)注
關(guān)注
0文章
151瀏覽量
6522 -
LLM
+關(guān)注
關(guān)注
1文章
325瀏覽量
844
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
愛立信推出革命性OSS/BSS產(chǎn)品組合
愛立信近日推出革命性OSS/BSS產(chǎn)品組合，賦能運營商在AI意圖驅(qū)動及自智網(wǎng)絡(luò)時代實現(xiàn)全方位創(chuàng)新突破！告別傳統(tǒng)模式，擁抱敏捷、智能服務(wù)的新時代。
新思科技攜手英偉達加速芯片設(shè)計，提升芯片電子設(shè)計自動化效率
宣布在英偉達 Grace Blackwell 平臺上實現(xiàn)高達 30 倍的預(yù)期性能提升，加速下一代半導(dǎo)體的電路仿真 ? 摘要： 在今年GTC主題演講中，新思科技作為生態(tài)系統(tǒng)的
發(fā)表于 03-19 17:59
?282次閱讀
英偉達發(fā)布Nemotron-CC大型AI訓(xùn)練數(shù)據(jù)庫
近日，英偉達在其官方博客上宣布了一項重大進展，推出了一款名為Nemotron-CC的大型英文AI訓(xùn)練
什么是LLM？LLM在自然語言處理中的應(yīng)用
隨著人工智能技術(shù)的飛速發(fā)展，自然語言處理（NLP）領(lǐng)域迎來了革命性的進步。其中，大型語言模型（LLM）的出現(xiàn)，標志著我們對語言理解能力的一次飛躍。LLM通過深度學(xué)習(xí)和海量數(shù)據(jù)
如何訓(xùn)練自己的LLM模型
訓(xùn)練自己的大型語言模型（LLM）是一個復(fù)雜且資源密集的過程，涉及到大量的數(shù)據(jù)、計算資源和專業(yè)知識。以下是訓(xùn)練LLM模型的
LLM和傳統(tǒng)機器學(xué)習(xí)的區(qū)別
和訓(xùn)練方法 LLM： 預(yù)訓(xùn)練和微調(diào)： LLM通常采用預(yù)訓(xùn)練（Pre-training）和微調(diào)（Fine-tuning）的方法。預(yù)
端到端InfiniBand網(wǎng)絡(luò)解決LLM訓(xùn)練瓶頸
ChatGPT對技術(shù)的影響引發(fā)了對人工智能未來的預(yù)測，尤其是多模態(tài)技術(shù)的關(guān)注。OpenAI推出了具有突破性的多模態(tài)模型GPT-4，使各個領(lǐng)域取得了顯著的發(fā)展。 這些AI進步是通過大規(guī)模模型訓(xùn)練實現(xiàn)
英偉達股價一個月內(nèi)上漲25%
統(tǒng)計數(shù)據(jù)顯示，在過去一個月中，英偉達公司的股價上漲了 25%，股價目前已經(jīng)接近了歷史高位，英偉達公司的市值已超越微軟公司，成為市值第二高的公
英偉達Blackwell可支持10萬億參數(shù)模型AI訓(xùn)練，實時大語言模型推理
、NVLink交換機、Spectrum以太網(wǎng)交換機和Quantum InfiniBand交換機。 ? 英偉達稱，Blackwell擁有6項革命性技術(shù)，可支持多達10萬億參數(shù)的模型進行AI訓(xùn)練
英偉達推出Eagle系列模型
英偉達最新推出的Eagle系列模型，以其1024×1024像素的高分辨率處理能力，重新定義了視覺信息處理的邊界。該模型通過多專家視覺編碼器架構(gòu)，每個編碼器專注于特定任務(wù)訓(xùn)練，極大地增強
英偉達推出創(chuàng)新液冷技術(shù)
英偉達，這家領(lǐng)先的AI芯片制造商，近期在散熱技術(shù)上實現(xiàn)了重大突破，推出了創(chuàng)新的液冷技術(shù)。其即將問世的GB200服務(wù)器機架，將采用革命性的液體冷卻方式，摒棄傳統(tǒng)空氣冷卻，通過液體在硬件管
英偉達打造人形機器人訓(xùn)練平臺，引領(lǐng)AI新紀元
英偉達近日宣布了一項重大舉措，為全球機器人制造業(yè)與AI領(lǐng)域注入強勁動力。公司推出了專為人形機器人設(shè)計的訓(xùn)練平臺，旨在為行業(yè)領(lǐng)先的制造商、AI
日本推出革命性的人形機器人
8月2日，日本科技界傳來新突破，立命館大學(xué)攜手滋賀縣草津市的“人機一體”機器人創(chuàng)新企業(yè)，共同揭幕了一款革命性的人形機器人。這款機器人以其卓越的自適應(yīng)平衡能力，在未預(yù)先測繪環(huán)境的情況下，通過遠程精準操控，展現(xiàn)了前所未有的靈活性與安
蘋果AI模型訓(xùn)練新動向：攜手谷歌，未選英偉達
近日，蘋果公司發(fā)布的最新研究報告揭示了其在人工智能領(lǐng)域的又一重要戰(zhàn)略選擇——采用谷歌設(shè)計的芯片來訓(xùn)練其AI模型，而非行業(yè)巨頭英偉達的產(chǎn)品。這一
工商網(wǎng)監(jiān)
評論