一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

搜索歷史

清空
搜索熱詞
      0
      • 聊天消息
      • 系統(tǒng)消息
      • 評(píng)論與回復(fù)
      VIP于 到期 續(xù)費(fèi)
      登錄后你可以
      • 下載海量資料
      • 學(xué)習(xí)在線課程
      • 觀看技術(shù)視頻
      • 寫文章/發(fā)帖/加入社區(qū)
      會(huì)員中心
      創(chuàng)作中心
      發(fā)布
      創(chuàng)作活動(dòng)

      完善資料讓更多小伙伴認(rèn)識(shí)你，還能領(lǐng)取20積分哦，立即完善>

      3天內(nèi)不再提示

      日本超算富岳助力構(gòu)建大規(guī)模語言模型Fugaku-LLM

      微云疏影 ? 來源：綜合整理 ? 作者：綜合整理 ? 2024-05-11 17:07 ? 次閱讀
      加入交流群
      微信小助手二維碼

      掃碼添加小助手

      加入工程師交流群

      日本多企業(yè)聯(lián)合科研組于昨日宣布推出Fugaku-LLM大模型，此模型基于Arm架構(gòu)的“富岳”超級(jí)計(jì)算機(jī)進(jìn)行培訓(xùn)，呈現(xiàn)出顯著特性。

      Fugaku-LLM模型項(xiàng)目自2023年5月起啟動(dòng)，初始參加方包括富士通、東京工業(yè)大學(xué)、日本東北大學(xué)及日本理化學(xué)研究所（簡(jiǎn)稱理研）。至同年8月，又有三家合作伙伴——名古屋大學(xué)、CyberAgent（Cygames母公司）以及HPC-AI領(lǐng)域創(chuàng)新企業(yè)Kotoba Technologies加入。

      在昨日公布的新聞稿中，研究團(tuán)隊(duì)表示他們成功發(fā)掘了富岳超級(jí)計(jì)算機(jī)的潛能，使矩陣乘法運(yùn)算速度提升六倍，通信速度提高三倍，從而證實(shí)大型純CPU超級(jí)計(jì)算機(jī)同樣適用于大模型訓(xùn)練。

      Fugaku-LLM模型參數(shù)規(guī)模達(dá)13B，成為日本國內(nèi)最大的大型語言模型。該模型利用13824個(gè)富岳超級(jí)計(jì)算機(jī)節(jié)點(diǎn)，在3800億個(gè)Token上進(jìn)行訓(xùn)練，其中60%為日語數(shù)據(jù)，其余40%涵蓋英語、數(shù)學(xué)、代碼等內(nèi)容。

      研究團(tuán)隊(duì)表示，F(xiàn)ugaku-LLM模型能夠在交流過程中自然運(yùn)用日語敬語等特殊表達(dá)方式。

      在測(cè)試結(jié)果方面，該模型在日語MT-Bench模型基準(zhǔn)測(cè)試中的平均得分高達(dá)5.5，位列基于日本語料資源的開放模型之首；同時(shí)，在人文社科類別的測(cè)試中獲得9.18的高分。

      目前，F(xiàn)ugaku-LLM模型已在GitHub和Hugging Face平臺(tái)公開發(fā)布，外部研究人員和工程師可以在遵循許可協(xié)議的前提下，將該模型應(yīng)用于學(xué)術(shù)和商業(yè)領(lǐng)域。

      聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
      • cpu
        cpu
        +關(guān)注

        關(guān)注

        68

        文章

        11080

        瀏覽量

        217116
      • 超級(jí)計(jì)算機(jī)

        關(guān)注

        2

        文章

        472

        瀏覽量

        42479
      • 大模型
        +關(guān)注

        關(guān)注

        2

        文章

        3146

        瀏覽量

        4075
      收藏 人收藏
      加入交流群
      微信小助手二維碼

      掃碼添加小助手

      加入工程師交流群

        評(píng)論

        相關(guān)推薦
        熱點(diǎn)推薦

        歐洲借助NVIDIA Nemotron優(yōu)化主權(quán)大語言模型

        NVIDIA 正攜手歐洲和中東的模型構(gòu)建商與云提供商，共同優(yōu)化主權(quán)大語言模型 (LLM)，加速該地區(qū)各行業(yè)采用企業(yè)級(jí) AI。
        的頭像 發(fā)表于 06-12 15:42 ?432次閱讀

        小白學(xué)大模型：從零實(shí)現(xiàn) LLM語言模型

        在當(dāng)今人工智能領(lǐng)域，大型語言模型（LLM）的開發(fā)已經(jīng)成為一個(gè)熱門話題。這些模型通過學(xué)習(xí)大量的文本數(shù)據(jù)，能夠生成自然語言文本，完成各種復(fù)雜的任
        的頭像 發(fā)表于 04-30 18:34 ?514次閱讀
        小白學(xué)大<b class='flag-5'>模型</b>：從零實(shí)現(xiàn) <b class='flag-5'>LLM</b><b class='flag-5'>語言</b><b class='flag-5'>模型</b>

        AI原生架構(gòu)升級(jí)：RAKsmart服務(wù)器在超大規(guī)模模型訓(xùn)練中的算力突破

        近年來，隨著千億級(jí)參數(shù)模型的崛起，AI訓(xùn)練對(duì)算力的需求呈現(xiàn)指數(shù)級(jí)增長(zhǎng)。傳統(tǒng)服務(wù)器架構(gòu)在應(yīng)對(duì)分布式訓(xùn)練、高并發(fā)計(jì)算和顯存優(yōu)化等場(chǎng)景時(shí)逐漸顯露瓶頸。而RAKsmart為超大規(guī)模模型訓(xùn)練提供
        的頭像 發(fā)表于 04-24 09:27 ?299次閱讀

        詳解 LLM 推理模型的現(xiàn)狀

        2025年，如何提升大型語言模型（LLM）的推理能力成了最熱門的話題之一，大量?jī)?yōu)化推理能力的新策略開始出現(xiàn)，包括擴(kuò)展推理時(shí)間計(jì)算、運(yùn)用強(qiáng)化學(xué)習(xí)、開展監(jiān)督微調(diào)和進(jìn)行提煉等。本文將深入探討LLM
        的頭像 發(fā)表于 04-03 12:09 ?508次閱讀
        詳解 <b class='flag-5'>LLM</b> 推理<b class='flag-5'>模型</b>的現(xiàn)狀

        無法在OVMS上運(yùn)行來自Meta的大型語言模型 （LLM），為什么?

        無法在 OVMS 上運(yùn)行來自 Meta 的大型語言模型 （LLM），例如 LLaMa2。 從 OVMS GitHub* 存儲(chǔ)庫運(yùn)行 llama_chat Python* Demo 時(shí)遇到錯(cuò)誤。
        發(fā)表于 03-05 08:07

        新品| LLM630 Compute Kit，AI 大語言模型推理開發(fā)平臺(tái)

        處理器，集成了3.2TOPs@INT8算力的高能效NPU，提供強(qiáng)大的AI推理能力，能夠高效執(zhí)行復(fù)雜的視覺(CV)及大語言模型(LLM)任務(wù)，滿足各類智能應(yīng)用場(chǎng)景的需求
        的頭像 發(fā)表于 01-17 18:48 ?699次閱讀
        新品| <b class='flag-5'>LLM</b>630 Compute Kit，AI 大<b class='flag-5'>語言</b><b class='flag-5'>模型</b>推理開發(fā)平臺(tái)

        小白學(xué)大模型：構(gòu)建LLM的關(guān)鍵步驟

        隨著大規(guī)模語言模型（LLM）在性能、成本和應(yīng)用前景上的快速發(fā)展，越來越多的團(tuán)隊(duì)開始探索如何自主訓(xùn)練LLM
        的頭像 發(fā)表于 01-09 12:12 ?975次閱讀
        小白學(xué)大<b class='flag-5'>模型</b>：<b class='flag-5'>構(gòu)建</b><b class='flag-5'>LLM</b>的關(guān)鍵步驟

        什么是LLM？LLM在自然語言處理中的應(yīng)用

        所未有的精度和效率處理和生成自然語言。 LLM的基本原理 LLM基于深度學(xué)習(xí)技術(shù)，尤其是變換器（Transformer）架構(gòu)。變換器模型因其自注意力（Self-Attention）機(jī)制
        的頭像 發(fā)表于 11-19 15:32 ?3662次閱讀

        如何訓(xùn)練自己的LLM模型

        訓(xùn)練自己的大型語言模型（LLM）是一個(gè)復(fù)雜且資源密集的過程，涉及到大量的數(shù)據(jù)、計(jì)算資源和專業(yè)知識(shí)。以下是訓(xùn)練LLM模型的一般步驟，以及一些關(guān)
        的頭像 發(fā)表于 11-08 09:30 ?1525次閱讀

        使用LLM進(jìn)行自然語言處理的優(yōu)缺點(diǎn)

        自然語言處理（NLP）是人工智能和語言學(xué)領(lǐng)域的一個(gè)分支，它致力于使計(jì)算機(jī)能夠理解、解釋和生成人類語言。大型語言模型（
        的頭像 發(fā)表于 11-08 09:27 ?2458次閱讀

        LLM和傳統(tǒng)機(jī)器學(xué)習(xí)的區(qū)別

        和訓(xùn)練方法 LLM： 預(yù)訓(xùn)練和微調(diào)： LLM通常采用預(yù)訓(xùn)練（Pre-training）和微調(diào)（Fine-tuning）的方法。預(yù)訓(xùn)練階段，模型在大規(guī)模的文本數(shù)據(jù)上學(xué)習(xí)
        的頭像 發(fā)表于 11-08 09:25 ?1899次閱讀

        新品｜LLM Module，離線大語言模型模塊

        LLM，全稱大語言模型(LargeLanguageModel)。是一種基于深度學(xué)習(xí)的人工智能模型。它通過大量文本數(shù)據(jù)進(jìn)行訓(xùn)練，從而能夠進(jìn)行對(duì)話、回答問題、撰寫文本等其他任務(wù)
        的頭像 發(fā)表于 11-02 08:08 ?1044次閱讀
        新品｜<b class='flag-5'>LLM</b> Module，離線大<b class='flag-5'>語言</b><b class='flag-5'>模型</b>模塊

        理解LLM中的模型量化

        在本文中，我們將探討一種廣泛采用的技術(shù)，用于減小大型語言模型（LLM）的大小和計(jì)算需求，以便將這些模型部署到邊緣設(shè)備上。這項(xiàng)技術(shù)稱為模型量化
        的頭像 發(fā)表于 10-25 11:26 ?705次閱讀
        理解<b class='flag-5'>LLM</b>中的<b class='flag-5'>模型</b>量化

        魔搭社區(qū)借助NVIDIA TensorRT-LLM提升LLM推理效率

        “魔搭社區(qū)是中國最具影響力的模型開源社區(qū)，致力給開發(fā)者提供模型即服務(wù)的體驗(yàn)。魔搭社區(qū)利用NVIDIA TensorRT-LLM，大大提高了大語言模型
        的頭像 發(fā)表于 08-23 15:48 ?1141次閱讀

        LLM大模型推理加速的關(guān)鍵技術(shù)

        LLM（大型語言模型）大模型推理加速是當(dāng)前人工智能領(lǐng)域的一個(gè)研究熱點(diǎn)，旨在提高模型在處理復(fù)雜任務(wù)時(shí)的效率和響應(yīng)速度。以下是對(duì)
        的頭像 發(fā)表于 07-24 11:38 ?1824次閱讀