一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

搜索歷史

清空
搜索熱詞
      0
      • 聊天消息
      • 系統(tǒng)消息
      • 評(píng)論與回復(fù)
      VIP于 到期 續(xù)費(fèi)
      登錄后你可以
      • 下載海量資料
      • 學(xué)習(xí)在線課程
      • 觀看技術(shù)視頻
      • 寫文章/發(fā)帖/加入社區(qū)
      會(huì)員中心
      創(chuàng)作中心
      發(fā)布
      創(chuàng)作活動(dòng)

      完善資料讓更多小伙伴認(rèn)識(shí)你，還能領(lǐng)取20積分哦，立即完善>

      3天內(nèi)不再提示

      日本團(tuán)隊(duì)發(fā)布在富岳超算上訓(xùn)練的Fugaku-LLM大模型

      微云疏影 ? 來源：綜合整理 ? 作者：綜合整理 ? 2024-05-11 10:05 ? 次閱讀
      加入交流群
      微信小助手二維碼

      掃碼添加小助手

      加入工程師交流群

      5月11日訊，多方企業(yè)與機(jī)構(gòu)聯(lián)手的日本研究小組昨日公布了Fugaku-LLM大型模型。該模型最大特點(diǎn)在于在Arm架構(gòu)超算“富岳”上完成了訓(xùn)練。

      自2023年5月起，F(xiàn)ugaku-LLM模型的開發(fā)工作開始展開，最初參與團(tuán)隊(duì)包括富士通、東京工業(yè)大學(xué)、日本東北大學(xué)以及日本理化學(xué)研究所（簡(jiǎn)稱理研）。

      至同年8月，又有三家合作伙伴——名古屋大學(xué)、CyberAgent（同時(shí)也是游戲巨頭Cygames的母公司）及HPC-AI領(lǐng)域創(chuàng)新企業(yè)Kotoba Technologies加入項(xiàng)目。

      研究團(tuán)隊(duì)在昨日的新聞發(fā)布會(huì)上表示，他們成功利用富岳超算的強(qiáng)大性能，使矩陣乘法運(yùn)算速度提升6倍，通信速度提高3倍，從而證明大型純CPU超算同樣適用于大模型訓(xùn)練。

      Fugaku-LLM模型參數(shù)規(guī)模達(dá)13B，成為日本國(guó)內(nèi)最大的大型語言模型。

      該模型采用13824個(gè)富岳超算節(jié)點(diǎn)，在3800億個(gè)Token上進(jìn)行訓(xùn)練，其中60%為日語數(shù)據(jù)，其余40%涵蓋英語、數(shù)學(xué)、代碼等內(nèi)容。

      研究團(tuán)隊(duì)表示，F(xiàn)ugaku-LLM模型能夠在交流過程中自然運(yùn)用日語敬語等特殊表達(dá)方式。

      在測(cè)試結(jié)果方面，該模型在日語MT-Bench模型基準(zhǔn)測(cè)試中的平均得分高達(dá)5.5，位列基于日本語料資源的開放模型之首；在人文社科類別的測(cè)試中更獲得了9.18的高分。

      現(xiàn)如今，F(xiàn)ugaku-LLM模型已在GitHub和Hugging Face平臺(tái)公開發(fā)布，外部研究人員和工程師可在遵循許可協(xié)議的基礎(chǔ)上，將該模型應(yīng)用于學(xué)術(shù)和商業(yè)領(lǐng)域。

      聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
      • cpu
        cpu
        +關(guān)注

        關(guān)注

        68

        文章

        11080

        瀏覽量

        217138
      • 模型
        +關(guān)注

        關(guān)注

        1

        文章

        3521

        瀏覽量

        50441
      • 語言模型
        +關(guān)注

        關(guān)注

        0

        文章

        561

        瀏覽量

        10799
      • 大模型
        +關(guān)注

        關(guān)注

        2

        文章

        3146

        瀏覽量

        4078
      收藏 人收藏
      加入交流群
      微信小助手二維碼

      掃碼添加小助手

      加入工程師交流群

        評(píng)論

        相關(guān)推薦
        熱點(diǎn)推薦

        詳解 LLM 推理模型的現(xiàn)狀

        領(lǐng)域的最新研究進(jìn)展，特別是自DeepSeekR1發(fā)布后興起的推理時(shí)間計(jì)算擴(kuò)展相關(guān)內(nèi)容。在LLM中實(shí)施和改進(jìn)推理簡(jiǎn)單來說，基于LLM的推理模型
        的頭像 發(fā)表于 04-03 12:09 ?510次閱讀
        詳解 <b class='flag-5'>LLM</b> 推理<b class='flag-5'>模型</b>的現(xiàn)狀

        用PaddleNLP為GPT-2模型制作FineWeb二進(jìn)制預(yù)訓(xùn)練數(shù)據(jù)集

        作者：算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 《用PaddleNLP在4060單卡上實(shí)踐大模型預(yù)訓(xùn)練技術(shù)》發(fā)布后收到讀者熱烈反響，很多讀者要求進(jìn)一步講解更多的技術(shù)細(xì)節(jié)。本文主要針對(duì)大語言
        的頭像 發(fā)表于 03-21 18:24 ?1692次閱讀
        用PaddleNLP為GPT-2<b class='flag-5'>模型</b>制作FineWeb二進(jìn)制預(yù)<b class='flag-5'>訓(xùn)練</b>數(shù)據(jù)集

        無法在OVMS上運(yùn)行來自Meta的大型語言模型 （LLM），為什么?

        無法在 OVMS 上運(yùn)行來自 Meta 的大型語言模型 （LLM），例如 LLaMa2。 從 OVMS GitHub* 存儲(chǔ)庫運(yùn)行 llama_chat Python* Demo 時(shí)遇到錯(cuò)誤。
        發(fā)表于 03-05 08:07

        小白學(xué)大模型：構(gòu)建LLM的關(guān)鍵步驟

        隨著大規(guī)模語言模型（LLM）在性能、成本和應(yīng)用前景上的快速發(fā)展，越來越多的團(tuán)隊(duì)開始探索如何自主訓(xùn)練LLM
        的頭像 發(fā)表于 01-09 12:12 ?979次閱讀
        小白學(xué)大<b class='flag-5'>模型</b>：構(gòu)建<b class='flag-5'>LLM</b>的關(guān)鍵步驟

        GPU是如何訓(xùn)練AI大模型的

        在AI模型的訓(xùn)練過程中，大量的計(jì)算工作集中在矩陣乘法、向量加法和激活函數(shù)等運(yùn)算上。這些運(yùn)算正是GPU所擅長(zhǎng)的。接下來，AI部落小編帶您了解G
        的頭像 發(fā)表于 12-19 17:54 ?753次閱讀

        什么是大模型、大模型是怎么訓(xùn)練出來的及大模型作用

        ，基礎(chǔ)模型。 ? 大模型是一個(gè)簡(jiǎn)稱，完整的叫法，應(yīng)該是“人工智能預(yù)訓(xùn)練大模型”。預(yù)訓(xùn)練，是一項(xiàng)技術(shù)，我們后面再解釋。 ? 我們現(xiàn)在口頭上常說
        的頭像 發(fā)表于 11-25 09:29 ?1.3w次閱讀
        什么是大<b class='flag-5'>模型</b>、大<b class='flag-5'>模型</b>是怎么<b class='flag-5'>訓(xùn)練</b>出來的及大<b class='flag-5'>模型</b>作用

        什么是LLM？LLM在自然語言處理中的應(yīng)用

        隨著人工智能技術(shù)的飛速發(fā)展，自然語言處理（NLP）領(lǐng)域迎來了革命性的進(jìn)步。其中，大型語言模型（LLM）的出現(xiàn)，標(biāo)志著我們對(duì)語言理解能力的一次飛躍。LLM通過深度學(xué)習(xí)和海量數(shù)據(jù)訓(xùn)練，使得
        的頭像 發(fā)表于 11-19 15:32 ?3665次閱讀

        從零開始訓(xùn)練一個(gè)大語言模型需要投資多少錢？

        一，前言 ? 在AI領(lǐng)域，訓(xùn)練一個(gè)大型語言模型（LLM）是一個(gè)耗時(shí)且復(fù)雜的過程。幾乎每個(gè)做大型語言模型（
        的頭像 發(fā)表于 11-08 14:15 ?793次閱讀
        從零開始<b class='flag-5'>訓(xùn)練</b>一個(gè)大語言<b class='flag-5'>模型</b>需要投資多少錢？

        如何訓(xùn)練自己的LLM模型

        訓(xùn)練自己的大型語言模型（LLM）是一個(gè)復(fù)雜且資源密集的過程，涉及到大量的數(shù)據(jù)、計(jì)算資源和專業(yè)知識(shí)。以下是訓(xùn)練LLM
        的頭像 發(fā)表于 11-08 09:30 ?1530次閱讀

        LLM技術(shù)對(duì)人工智能發(fā)展的影響

        。 一、LLM技術(shù)在人工智能領(lǐng)域的應(yīng)用 自然語言處理（NLP） LLM技術(shù)在自然語言處理領(lǐng)域發(fā)揮著重要作用。通過訓(xùn)練
        的頭像 發(fā)表于 11-08 09:28 ?1860次閱讀

        LLM和傳統(tǒng)機(jī)器學(xué)習(xí)的區(qū)別

        和訓(xùn)練方法 LLM： 預(yù)訓(xùn)練和微調(diào)： LLM通常采用預(yù)訓(xùn)練（Pre-training）和微調(diào)（Fine-tuning）的方法。預(yù)
        的頭像 發(fā)表于 11-08 09:25 ?1900次閱讀

        新品｜LLM Module，離線大語言模型模塊

        LLM，全稱大語言模型(LargeLanguageModel)。是一種基于深度學(xué)習(xí)的人工智能模型。它通過大量文本數(shù)據(jù)進(jìn)行訓(xùn)練，從而能夠進(jìn)行對(duì)話、回答問題、撰寫文本等其他任務(wù)
        的頭像 發(fā)表于 11-02 08:08 ?1051次閱讀
        新品｜<b class='flag-5'>LLM</b> Module，離線大語言<b class='flag-5'>模型</b>模塊

        英偉達(dá)推出歸一化Transformer，革命性提升LLM訓(xùn)練速度

        了新的突破。 相較于傳統(tǒng)的Transformer架構(gòu)，nGPT在保持原有精度的同時(shí)，直接將大型語言模型(LLM)的訓(xùn)練速度提升了高達(dá)20倍。這一顯著的性能提升，無疑將極大地推動(dòng)AI技術(shù)
        的頭像 發(fā)表于 10-23 11:30 ?885次閱讀

        端到端InfiniBand網(wǎng)絡(luò)解決LLM訓(xùn)練瓶頸

        的，這需要大量的計(jì)算資源和高速數(shù)據(jù)傳輸網(wǎng)絡(luò)。端到端InfiniBand（IB）網(wǎng)絡(luò)作為高性能計(jì)算和AI模型訓(xùn)練的理想選擇，發(fā)揮著重要作用。在本文中，我們將深入探討大型語言模型（
        的頭像 發(fā)表于 10-23 11:26 ?2301次閱讀
        端到端InfiniBand網(wǎng)絡(luò)解決<b class='flag-5'>LLM</b><b class='flag-5'>訓(xùn)練</b>瓶頸

        LLM大模型推理加速的關(guān)鍵技術(shù)

        LLM（大型語言模型）大模型推理加速是當(dāng)前人工智能領(lǐng)域的一個(gè)研究熱點(diǎn)，旨在提高模型在處理復(fù)雜任務(wù)時(shí)的效率和響應(yīng)速度。以下是對(duì)
        的頭像 發(fā)表于 07-24 11:38 ?1827次閱讀