完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>
標(biāo)簽 > llm
在人工智能領(lǐng)域,LLM代表“大型語言模型”。在人工智能(AI)領(lǐng)域自然語言處理(NLP)是一個(gè)快速進(jìn)展的領(lǐng)域。NLP中最重要是大語言模型(LLM)。大語言模型(英文:Large Language Model,縮寫LLM),也稱大型語言模型,是一種基于機(jī)器學(xué)習(xí)和自然語言處理技術(shù)的模型。
文章:314個(gè) 瀏覽:640次 帖子:3個(gè)
2025年,如何提升大型語言模型(LLM)的推理能力成了最熱門的話題之一,大量?jī)?yōu)化推理能力的新策略開始出現(xiàn),包括擴(kuò)展推理時(shí)間計(jì)算、運(yùn)用強(qiáng)化學(xué)習(xí)、開展監(jiān)督...
樹莓派秒變編程助手:Ollama+Continue的簡(jiǎn)易搭建教程!
以下是如何在RaspberryPi上運(yùn)行大型語言模型(LLM)的方法。本文的目標(biāo)是找出在RaspberryPi上運(yùn)行LLM是否是ChatGPT和GitH...
2025-03-27 標(biāo)簽:Raspberry Pi樹莓派LLM 152 0
基于DBFP與DB-Attn的算法硬件協(xié)同優(yōu)化方案
本文討論了LLM推理過程對(duì)計(jì)算資源需求急劇攀升的背景下,現(xiàn)有量化和剪枝技術(shù)、新數(shù)據(jù)格式存在的不足,提出動(dòng)態(tài)塊浮點(diǎn)數(shù)(DBFP)及其配套算法-硬件協(xié)同框架...
內(nèi)部業(yè)務(wù)支撐&前瞻技術(shù)布局 One4All下一代生成式推薦系統(tǒng)
作者:京東零售 申磊 自LLM在自然語言處理等領(lǐng)域取得了矚目成就之后,學(xué)術(shù)界積極探索生成式模型對(duì)搜廣推系統(tǒng)的增強(qiáng)或改進(jìn)方式[1],現(xiàn)有工作大體可以分為兩...
NVIDIA大語言模型在推薦系統(tǒng)中的應(yīng)用實(shí)踐
推薦系統(tǒng)的主要任務(wù)在于根據(jù)用戶的過往行為預(yù)測(cè)其潛在興趣點(diǎn),并據(jù)此推薦相應(yīng)的商品。在傳統(tǒng)的推薦系統(tǒng)中,當(dāng)處理用戶請(qǐng)求時(shí),會(huì)觸發(fā)多個(gè)召回模塊,例如熱門商品召...
2025-03-05 標(biāo)簽:NVIDIA模型推薦系統(tǒng) 530 0
用PaddleNLP在4060單卡上實(shí)踐大模型預(yù)訓(xùn)練技術(shù)
作者:算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 之前我們分享了《從零開始訓(xùn)練一個(gè)大語言模型需要投資多少錢》,其中高昂的預(yù)訓(xùn)練費(fèi)用讓許多對(duì)大模型預(yù)訓(xùn)練技術(shù)感興趣...
2025-02-19 標(biāo)簽:數(shù)據(jù)集大模型LLM 718 0
大語言模型的解碼策略與關(guān)鍵優(yōu)化總結(jié)
本文系統(tǒng)性地闡述了大型語言模型(LargeLanguageModels,LLMs)中的解碼策略技術(shù)原理及其實(shí)踐應(yīng)用。通過深入分析各類解碼算法的工作機(jī)制、...
在NVIDIA TensorRT-LLM中啟用ReDrafter的一些變化
Recurrent Drafting (簡(jiǎn)稱 ReDrafter) 是蘋果公司為大語言模型 (LLM) 推理開發(fā)并開源的一種新型推測(cè)解碼技術(shù),該技術(shù)現(xiàn)在...
NVIDIA TensorRT-LLM 是一個(gè)專為優(yōu)化大語言模型 (LLM) 推理而設(shè)計(jì)的庫。它提供了多種先進(jìn)的優(yōu)化技術(shù),包括自定義 Attention...
移植Mediapipe LLM Demo到Kotlin Multiplatform
在今年的廈門和廣州 Google I/O Extended 上,我分享了《On-Device Model 集成 (KMP) 與用例》。本文是當(dāng)時(shí) Dem...
Arm KleidiAI助力提升PyTorch上LLM推理性能
生成式人工智能 (AI) 正在科技領(lǐng)域發(fā)揮關(guān)鍵作用,許多企業(yè)已經(jīng)開始將大語言模型 (LLM) 集成到云端和邊緣側(cè)的應(yīng)用中。生成式 AI 的引入也使得許多...
如何在 OrangePi 5 Pro?的?NPU?上運(yùn)行?LLM
在OrangePi5Pro上訪問NPU需要安裝最新版Ubuntu的定制版本,還需要安裝特殊軟件,讓你能在NPU而不是CPU上運(yùn)行專門轉(zhuǎn)換的LLM。整個(gè)過...
使用ReMEmbR實(shí)現(xiàn)機(jī)器人推理與行動(dòng)能力
視覺語言模型(VLM)通過將文本和圖像投射到同一個(gè)嵌入空間,將基礎(chǔ)大語言模型(LLM)強(qiáng)大的語言理解能力與視覺 transformer(ViT)的視覺能...
本文將分享 TensorRT-LLM 中低精度量化內(nèi)容,并從精度和速度角度對(duì)比 FP8 與 INT8。首先介紹性能,包括速度和精度。其次,介紹量化工具 ...
2024-11-19 標(biāo)簽:數(shù)據(jù)NVIDIA模型 963 0
大模型由于其在各種任務(wù)中的出色表現(xiàn)而引起了廣泛的關(guān)注。然而,大模型推理的大量計(jì)算和內(nèi)存需求對(duì)其在資源受限場(chǎng)景的部署提出了挑戰(zhàn)。業(yè)內(nèi)一直在努力開發(fā)旨在提高...
OpenVINO 2024.4持續(xù)提升GPU上LLM性能
本次新版本在整個(gè) OpenVINO 產(chǎn)品系列中引入了重要的功能和性能變化,使大語言模型 (LLM) 的優(yōu)化和部署在所有支持的場(chǎng)景中更容易、性能更高,包括...
編輯推薦廠商產(chǎn)品技術(shù)軟件/工具OS/語言教程專題
電機(jī)控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動(dòng)駕駛 | TI | 瑞薩電子 |
BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
無刷電機(jī) | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
直流電機(jī) | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
步進(jìn)電機(jī) | SPWM | 充電樁 | IPM | 機(jī)器視覺 | 無人機(jī) | 三菱電機(jī) | ST |
伺服電機(jī) | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國(guó)民技術(shù) | Microchip |
Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
DuerOS | Brillo | Windows11 | HarmonyOS |