國內(nèi)科學(xué)家團隊發(fā)布超大規(guī)模AI預(yù)訓(xùn)練模型
據(jù)消息，北京智源人工智能研究院發(fā)布四個超大規(guī)模人工智能預(yù)訓(xùn)練模型，統(tǒng)稱為“悟道1.0”，涵蓋中文語言、多模態(tài)、認知、蛋白質(zhì)預(yù)測四個領(lǐng)域，是幫助國內(nèi)企業(yè)、機構(gòu)開發(fā)人工智能應(yīng)用的大型基礎(chǔ)設(shè)施。
“悟道1.0”由智源研究院學(xué)術(shù)副院長、清華大學(xué)唐杰教授領(lǐng)銜，帶領(lǐng)來自北京大學(xué)、清華大學(xué)、中國人民大學(xué)、中國科學(xué)院等單位的100余位AI科學(xué)家團隊聯(lián)合攻關(guān)，同時與快手、搜狗、360、阿里、新華社等龍頭企業(yè)共同研發(fā)工業(yè)級示范性應(yīng)用。
智源研究院院長黃鐵軍教授介紹，近幾年這輪人工智能浪潮的基本特點是“數(shù)據(jù)+算力+算法=模型”，模型濃縮了訓(xùn)練數(shù)據(jù)的內(nèi)部規(guī)律，是實現(xiàn)人工智能應(yīng)用的載體。近年來人工智能的發(fā)展，已經(jīng)從“大煉模型”逐步邁向了“煉大模型”的階段，通過設(shè)計先進的算法，整合盡可能多的數(shù)據(jù)，匯聚大量算力，集約化地訓(xùn)練大模型，供大量企業(yè)使用，是必然趨勢。
智源研究院2020年10月啟動“悟道”項目，研發(fā)規(guī)模大（主要體現(xiàn)為參數(shù)量）、智商高、具備類人認知能力、統(tǒng)一對多模態(tài)數(shù)據(jù)的理解和建模、滿足各種應(yīng)用需要的預(yù)訓(xùn)練模型，特別是注重中文語料的采集和訓(xùn)練。
責(zé)任編輯：lq6
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
搜狗
+關(guān)注
關(guān)注
0文章
91瀏覽量
14055 -
人工智能
+關(guān)注
關(guān)注
1804文章
48449瀏覽量
245059
發(fā)布評論請先 登錄
相關(guān)推薦
AI原生架構(gòu)升級：RAKsmart服務(wù)器在超大規(guī)模模型訓(xùn)練中的算力突破
近年來，隨著千億級參數(shù)模型的崛起，AI訓(xùn)練對算力的需求呈現(xiàn)指數(shù)級增長。傳統(tǒng)服務(wù)器架構(gòu)在應(yīng)對分布式訓(xùn)練、高并發(fā)計算和顯存優(yōu)化等場景時逐漸顯露瓶頸。而RAKsmart為
DeepSeek推動AI算力需求：800G光模塊的關(guān)鍵作用
隨著人工智能技術(shù)的飛速發(fā)展，AI算力需求正以前所未有的速度增長。DeepSeek等大模型的訓(xùn)練與推理任務(wù)對算力的需求持續(xù)攀升，直接推動了服務(wù)器、光通信設(shè)備以及數(shù)據(jù)中心基礎(chǔ)設(shè)施的升級。特別是在大
發(fā)表于 03-25 12:00
偉創(chuàng)力如何應(yīng)對超大規(guī)模數(shù)據(jù)中心建設(shè)挑戰(zhàn)
在當(dāng)今瞬息萬變的數(shù)字世界中，數(shù)據(jù)中心正面臨著前所未有的挑戰(zhàn)。隨著人工智能（AI）的迅速崛起，傳統(tǒng)的數(shù)據(jù)中心設(shè)計與運營模式遭遇了巨大壓力。偉創(chuàng)力通信、企業(yè)和云業(yè)務(wù)總裁Rob Campbell 指出，超大規(guī)模數(shù)據(jù)中心建設(shè)面臨獨特挑戰(zhàn)，傳統(tǒng)運營模式亟待革新。
一文說清楚什么是AI大模型
目前，大模型（特別是在2023年及之后的語境中）通常特指大語言模型（LLM, Large Language Model），但其范圍也涵蓋其他領(lǐng)域的超大規(guī)模深度學(xué)習(xí)模型，例如圖像生成
AI大模型的訓(xùn)練數(shù)據(jù)來源分析
學(xué)術(shù)機構(gòu)、政府組織或企業(yè)公開發(fā)布，涵蓋了各種類型的數(shù)據(jù)，如圖像、文本、音頻、視頻等。例如： ImageNet ：一個廣泛用于圖像識別任務(wù)的大規(guī)模圖像數(shù)據(jù)集。 Common Crawl ：提供了大量的網(wǎng)頁抓取數(shù)據(jù)以供自然語言處理模型
AI for Science：人工智能驅(qū)動科學(xué)創(chuàng)新》第4章-AI與生命科學(xué)讀后感
了傳統(tǒng)學(xué)科界限，使得科學(xué)家們能夠從更加全面和深入的角度理解生命的奧秘。同時，AI技術(shù)的引入也催生了一種全新的科學(xué)研究范式，即數(shù)據(jù)驅(qū)動的研究范式，這種范式強調(diào)從大量數(shù)據(jù)中提取有價值的信息，從而推動
發(fā)表于 10-14 09:21
《AI for Science：人工智能驅(qū)動科學(xué)創(chuàng)新》第二章AI for Science的技術(shù)支撐學(xué)習(xí)心得
和數(shù)量直接影響到模型的準確性和可靠性。因此，數(shù)據(jù)獲取、處理、分析和質(zhì)量控制在AI for Science中至關(guān)重要。此外，數(shù)據(jù)驅(qū)動的研究范式也促使科學(xué)家從傳統(tǒng)的假設(shè)驅(qū)動轉(zhuǎn)向更加靈活和開放的研究方法
發(fā)表于 10-14 09:16
Zettabyte與緯創(chuàng)攜手打造臺灣首個超大規(guī)模AI數(shù)據(jù)中心
在推動亞太地區(qū)AI計算領(lǐng)域邁向新紀元的征程中，Zettabyte與緯創(chuàng)資通（Wistron Corporation）攜手宣布了一項重大合作——共同建設(shè)臺灣地區(qū)首個超大規(guī)模AI數(shù)據(jù)中心，這一里程碑式的項目不僅標志著臺灣
谷歌正在考慮在越南建設(shè)超大規(guī)模數(shù)據(jù)中心
據(jù)可靠消息透露，Alphabet集團旗下的谷歌公司正積極籌劃在越南南部的經(jīng)濟樞紐胡志明市周邊建設(shè)一座“超大規(guī)模”數(shù)據(jù)中心。此舉標志著美國科技巨頭首次在東南亞國家進行此類重大投資，盡管具體的投資金額尚待揭曉。
超大規(guī)模集成電路（VLSI）中不可或缺的5種二極管
在快速發(fā)展的超大規(guī)模集成電路（VLSI）設(shè)計世界中，選擇正確的組件對于優(yōu)化性能和效率至關(guān)重要。二極管在超大規(guī)模集成電路的各種應(yīng)用中起著不可或缺的作用，從整流到電壓調(diào)節(jié)。本文深入研究了2024年
SAS 24G+規(guī)范發(fā)布,為超大規(guī)模數(shù)據(jù)中心HDD和SSD
最新發(fā)布的SAS 24G+規(guī)范中得到了有力證明。該規(guī)范由SNIA SCSI貿(mào)易協(xié)會論壇（STA）與INCITS/SCSI標準組織攜手推出，專為下一代超大規(guī)模數(shù)據(jù)中心中的機械硬盤（HDD）與固態(tài)硬盤（SSD）量身打造。
大語言模型的預(yù)訓(xùn)練
能力，逐漸成為NLP領(lǐng)域的研究熱點。大語言模型的預(yù)訓(xùn)練是這一技術(shù)發(fā)展的關(guān)鍵步驟，它通過在海量無標簽數(shù)據(jù)上進行訓(xùn)練，使模型學(xué)習(xí)到語言的通用知識
燧原科技與清程極智攜手共創(chuàng)AI未來：共筑超大規(guī)模智算集群新篇章
協(xié)議，雙方將攜手步入全新的合作階段，共同探索并開發(fā)面向超萬億參數(shù)大模型和超大規(guī)模集群的高性能系統(tǒng)軟件方案，標志著雙方在推動AI技術(shù)邊界、加速產(chǎn)業(yè)智能化進程上邁出了堅實的一步。
預(yù)訓(xùn)練模型的基本原理和應(yīng)用
預(yù)訓(xùn)練模型（Pre-trained Model）是深度學(xué)習(xí)和機器學(xué)習(xí)領(lǐng)域中的一個重要概念，尤其是在自然語言處理（NLP）和計算機視覺（CV）等領(lǐng)域中得到了廣泛應(yīng)用。預(yù)
【大語言模型：原理與工程實踐】大語言模型的預(yù)訓(xùn)練
增長。DeepMind在相關(guān)論文中指出，模型大小和訓(xùn)練Token數(shù)應(yīng)以相似速率增長，以確保最佳性能。因此，構(gòu)建與模型規(guī)模相匹配的預(yù)
發(fā)表于 05-07 17:10
工商網(wǎng)監(jiān)
評論