【AIBOX】裝在小盒子的AI足夠強嗎？
Firefly推出大語言模型本地部署的產(chǎn)品：AIBOX-1684X，目前已適配主流的大語言模型，包括ChatGLM3-6B，以下是ChatGLM3在AIBOX-1684X上的實機演示：ChatGLM3-6B采用更多元的訓練數(shù)據(jù)和策略，在不同角度的數(shù)據(jù)集，采用了全新設計的Prompt格式，支持工具調用(Function Call)、代碼執(zhí)行(Code Interpreter)和Agent任務等復雜場景
性能實測結果
更強大的基礎模型
ChatGLM3-6B (Base) 在選取的8個中英文典型數(shù)據(jù)集中進行性能測試：
在語義、數(shù)學、推理、代碼、知識等不同角度的數(shù)據(jù)集上測評顯示，ChatGLM3-6B-Base具有在10B以下的基礎模型中最強的性能
更全面的開源序列
除了對話模型ChatGLM3-6B外，還開源了基礎模型ChatGLM3-6B-Base、長文本對話模型ChatGLM3-6B-32K。以下是ChatGLM3-6B-32K在LongBench評測集上對模型進行測試：
在多個長文本應用場景下的估測試中，與二代模型相比，其效果平均提升程度大于50%。在論文閱讀、文檔摘要和財報分析等應用中，提升尤為顯著
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
AI
+關注
關注
88文章
35136瀏覽量
279760 -
語言模型
+關注
關注
0文章
561瀏覽量
10788 -
Firefly
+關注
關注
2文章
542瀏覽量
8391
發(fā)布評論請先 登錄
相關推薦
熱點推薦
邊緣AI盒子技術解析：ASIC/FPGA/GPU芯片及邊緣-云端協(xié)同與自適應推理
? 電子發(fā)燒友網(wǎng)綜合報道 邊緣AI盒子是一種集成了高性能芯片、AI算法和數(shù)據(jù)處理能力的硬件設備，部署在數(shù)據(jù)源的邊緣側，如工廠、商場、交通路口等，能在本地進行數(shù)據(jù)采集、預處理、分析和決策，無需將所有
AIBOX 產(chǎn)品矩陣：支持主流大模型的私有化部署，滿足個性化 AI 應用需求
AIBOX系列產(chǎn)品具備高性能、低功耗、環(huán)境適應性強等特點，算力覆蓋6-157TOPS，通過搭配多樣化深度學習算法，體積小巧，能夠支持主流大模型的私有化部署，為多個智慧行業(yè)進行數(shù)字化賦能。目前
【AIBOX 應用案例】通過 U2-Net 實現(xiàn)背景移除
NVIDIA系列AIBOXAIBOX-OrinNano和AIBOX-OrinNX均搭載NVIDIA原裝JetsonOrin核心板模組，標配工業(yè)級全金屬外殼，鋁合金結構導熱，頂蓋外殼側面采用條幅格柵
傳統(tǒng)攝像頭為什么需要升級為AI盒子？多場景痛點解析
在安防監(jiān)控、智慧零售、工業(yè)檢測等領域，傳統(tǒng)攝像頭長期以來承擔著視頻采集的任務，但隨著AI技術的快速發(fā)展，單純依賴“看得見”的攝像頭已無法滿足智能化需求。AI盒子（智能視頻分析終端）的出現(xiàn)，讓傳統(tǒng)監(jiān)控
AIBOX 新成員，搭載 RK3588S 芯片全新上線
AIBOX產(chǎn)品矩陣再添新成員——AIBOX-3588S，支持AI大模型私有化部署，支持32GBLPDDR5超大內存，廣泛適用于邊緣計算、大模型私有化部署、智能安防、智能家居、智能工業(yè)等領域。八核
自制1個指紋保險箱，不到100元就能擁有！
| 實用至上，點亮便利生活，此前就一直想著給小朋友做一個小盒子，正好借這個機會忙里偷閑參與到活動當中，再體驗一下電子 DIY 的樂趣。 本次制作了一個稍微實用價值的指紋開鎖小盒子，旨在為日常生活中的物品收納提供更安全、便捷的解決方案。 1、設計
【AIBOX 應用案例】單目深度估計
?Firefly所推出的NVIDIA系列的AIBOX可實現(xiàn)深度估計，該技術是一種從單張或者多張圖像預測場景深度信息的技術，廣泛應用于計算機視覺領域，尤其是在三維重建、場景理解和環(huán)境感知等任務中起到
AIBOX 全系產(chǎn)品已適配 DeepSeek-R1
國產(chǎn)AI大模型DeepSeek以出色的性價比和高效的模型技術，迅速成為全球AI關注的焦點。Firefly開源團隊率先實現(xiàn)AIBOX系列產(chǎn)品對DeepSeek-R1的全面適配。R1模型性能數(shù)據(jù)
【AIBOX應用】通過 NVIDIA TensorRT 實現(xiàn)實時快速的語義分割
NVIDIA系列AIBOXAIBOX-OrinNano和AIBOX-OrinNX均搭載NVIDIA原裝JetsonOrin核心板模組，標配工業(yè)級全金屬外殼，鋁合金結構導熱，頂蓋外殼側面采用條幅格柵
【NVIDIA生態(tài)】具有100 TOPS強勁算力的AIBOX！
JetsonOrin模組的高算力AI主機：AIBOX-OrinNano和AIBOX-OrinNX英偉達系列AIBOX該系列可提供40或100TOPS的
深蕾半導體HDMI AI分析盒子
HDMI AI分析盒子，是專門針對視覺內容進行處理，集成了邊緣計算和AI算法處理能力的設備。能夠對HDMI RX輸入內容進行AI分析、內容合成、編輯等操作。
該
AMD助力PlanetSpark公司開發(fā)AI邊緣盒子EdgeAI Box X7
PlanetSpark 是一家總部位于新加坡的 AI 及物聯(lián)網(wǎng)集成商，使用 AMD 的 Zynq UltraScale+ MPSoC 器件開發(fā)了一款手掌大小的 AI 邊緣盒子 — EdgeAI
AIBOX旗艦版：內置NVIDIA核心模組
AIBOX-OrinNano和AIBOX-OrinNX均搭載NVIDIA原裝JetsonOrin核心板模組，該系列可提供40~100TOPS的AI計算能力、大容量統(tǒng)一內存和全面的軟件堆棧，能夠以超高
邊緣計算AI算法盒子在停放充電區(qū)域AI智慧監(jiān)控的應用
隨著新能源汽車的普及，停放充電區(qū)域的安全與效率問題日益凸顯。邊緣計算盒子（AI算法盒子）的引入，為這一領域帶來了革命性的智慧監(jiān)控解決方案，極大地提升了停放充電區(qū)域的管理水平。邊緣計算盒子
AIBOX青春版上線！1399把AI帶回家
自AIBOX-1684X上市后，這個小巧的盒子憑借本地化AI的能力，獲得市場一致好評?，F(xiàn)Firefly推出新一款入門級AI盒子：
工商網(wǎng)監(jiān)
評論