本地化ChatGPT？Firefly推出基于BM1684X的大語言模型本地部署方案
自ChatGPT發(fā)布以來，生成式AI在全球引起了新的浪潮，它影響著各行各業(yè)，為世界帶來智能化的發(fā)展。然而，類ChatGPT的大語言模型極度依賴算力巨大的服務器，導致目前大部分應用只能通過集中調用API的方式來應用，很難本地化部署。
隨著大模型適用領域的擴展，大模型登陸邊緣設備的需求凸顯，越來越多的行業(yè)需要把大語言模型應用在專業(yè)的領域上。在這個背景下，F(xiàn)irefly推出了基于BM1684X平臺的大語言模型本地部署的方案，讓邊緣設備可配置上一顆真正的“智慧”大腦，應用于各行各業(yè)。
本地化的ChatGLM-6B大語言模型
（1）具有 62 億參數
采用了由清華大學的ChatGLM-6B大語言模型，基于 General Language Model (GLM) 架構，具有 62 億參數， 使用了和 ChatGPT 相似的先進技術，以達到優(yōu)質的效果。
（2）優(yōu)化中文對話
支持中英雙語的對話語言模型，并且針對中文問答和對話進行了優(yōu)化，其開源的訓練數據量達到1萬億字符的模型。
AI邊緣計算主機EC-A1684XJD4
ChatGLM-6B可部署在Firefly旗下產品AI嵌入式主機EC-A1684XJD4中，主機配置了16GB大內存，適用于部分大模型的量化部署，可運行Ubuntu20.04操作系統(tǒng)，并集成最新的SOPHONSDK 3.0.0，可充分發(fā)揮BM1684X集成TPU的AI加速能力。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
AI
+關注
關注
87文章
33554瀏覽量
274263 -
人工智能
+關注
關注
1804文章
48449瀏覽量
245068 -
語言模型
+關注
關注
0文章
557瀏覽量
10606 -
ChatGPT
+關注
關注
29文章
1585瀏覽量
8674
發(fā)布評論請先 登錄
相關推薦
博實結完成DeepSeek大模型本地化部署
近日，公司完成DeepSeek R1 671B大模型本地化部署。通過構建自主可控的AI基礎設施，公司同步實現(xiàn)研發(fā)智能升級、研發(fā)成本重構、數據安全閉環(huán)與應用場景突破，為產業(yè)智能化賦能。
行芯完成DeepSeek-R1大模型本地化部署
近日，行芯正式宣布完成 DeepSeek-R1 大模型本地化部署，實現(xiàn)在多場景、多產品中應用。解鎖“芯”玩法，開啟“芯”未來！
DeepSeek沖擊（含本地化部署實踐）
題，要分析DeepSeek的實力，最簡單的方式就是跟ChatGPT進行對比。 模型分類 ChatGPT目前有兩種大模型，分
曙光順利完成DeepSeek大模型本地化多點私有部署
計算中心等政務云服務商，依托本地政務云資源池，順利完成DeepSeek大模型本地化多點私有部署，并打造出數字人“撫小智”。撫州市還計劃將DeepSeek大
烽火通信推動DeepSeek本地化部署，金融行業(yè)率先示范
近日，烽火通信攜手長江計算、昇騰及華為云團隊，在金融領域取得了重要突破。他們成功助力某國有大型銀行，率先完成了DeepSeek-V3大模型的本地化推理服務部署。 此次部署采用了長江計算
意法半導體在中國的本地化戰(zhàn)略
提前謀劃本地化供應鏈，解決中國客戶后顧之憂，提高對汽車用MCU的重視，布局從高端到中低端的全線產品。ST帶著這樣的愿景開始了在中國市場的下一個40年！
愛普生科技+本地化引領五大創(chuàng)新
自八十年代進入中國以來，愛普生已在中國市場上深耕近四十年。從打印機到工業(yè)機器人，愛普生業(yè)務遍布多個領域，始終秉承“科技+本地化”的核心理念，與中國市場同頻共振，不斷深化與本土合作伙伴合作，推出“中國定制”產品及解決方案。
用Ollama輕松搞定Llama 3.2 Vision模型本地部署
Ollama 是一個開源的大語言模型服務工具，它的核心目的是簡化大語言模型（LLMs）的本地部署
AIBOX青春版上線！1399把AI帶回家
自AIBOX-1684X上市后，這個小巧的盒子憑借本地化AI的能力，獲得市場一致好評?，F(xiàn)Firefly推出新一款入門級AI盒子：AIBOX-1688該盒子搭載SOPHON算能八核AI處
llm模型本地部署有用嗎
，將這些模型部署到本地環(huán)境可能會帶來一些挑戰(zhàn)和優(yōu)勢。 1. LLM模型概述 大型語言模型（LLM
涂鴉HEDV本地化部署方案，助你低成本實現(xiàn)定制化開發(fā)！
在日新月異的信息科技領域，軟件定制化需求不斷增長，尤其在智慧校園、智慧園區(qū)和智慧能源等多元化業(yè)務場景中，許多企業(yè)和組織對本地化部署的需求日益強烈。然而，傳統(tǒng)軟件應用往往難以跟上企業(yè)智能
Qwen2強勢來襲，AIBOX支持本地化部署
Qwen2是阿里通義推出的新一代多語言預訓練模型，經過更深入的預訓練和指令調整，在多個基準評測結果中表現(xiàn)出色，尤其在代碼和數學方面有顯著提升，同時拓展了上下文長度支持，最高可達128K。目前
bm1684運行demo報錯怎么解決？
../models/BM1684X/yolov5s_v6.1_3output_fp32_1b.bmodel[BMRT][bmcpu_setup:406] INFO:cpu_lib \'libcpuop.so
發(fā)表于 05-20 07:24
工商網監(jiān)
評論