請(qǐng)問移動(dòng)端生成式AI如何在Arm CPU上運(yùn)行呢？

2023 年，生成式人工智能 (Generative AI) 領(lǐng)域涌現(xiàn)出諸多用例。這一突破性的人工智能 (AI) 技術(shù)是 OpenAI 的 ChatGP...

2024-05-21 標(biāo)簽：RAM人工智能LLM 1162 0

Optimum Intel三步完成Llama3在算力魔方的本地量化和部署

Llama3 是Meta最新發(fā)布的開源大語(yǔ)言模型(LLM), 當(dāng)前已開源8B和70B參數(shù)量的預(yù)訓(xùn)練模型權(quán)重，并支持指令微調(diào)。

2024-05-10 標(biāo)簽：處理器pythonLLM 1402 0

OpenAI新研究：指令層次結(jié)構(gòu)防御LLM攻擊策略

為了解決這個(gè)問題，這篇研究提出了一種指令層次結(jié)構(gòu)（instruction hierarchy）。它明確定義了不同指令的優(yōu)先級(jí)，以及當(dāng)不同優(yōu)先級(jí)的指令發(fā)生...

2024-04-28 標(biāo)簽：指令AIGPT 519 0

主流GPU/TPU集群組網(wǎng)方案深度解析

用于連接 GPU 服務(wù)器中的 8 個(gè) GPU 的 NVLink 交換機(jī)也可以用于構(gòu)建連接 GPU 服務(wù)器之間的交換網(wǎng)絡(luò)。Nvidia 在 2022 年的...

2024-04-24 標(biāo)簽：gpu服務(wù)器InfiniBand 1476 0

MOE與MOT：提升LLM效能的關(guān)鍵策略比較

MoE 與 MoT：在專家混合中（左），每個(gè)令牌都被路由到不同的專家前饋層。在令牌混合（右）中，每組內(nèi)的令牌被混合，并且混合令牌由專家前饋層處理。

2024-04-15 標(biāo)簽：控制器機(jī)器學(xué)習(xí)LLM 1299 0

自然語(yǔ)言處理應(yīng)用LLM推理優(yōu)化綜述

當(dāng)前，業(yè)界在將傳統(tǒng)優(yōu)化技術(shù)引入 LLM 推理的同時(shí)，同時(shí)也在探索從大模型自回歸解碼特點(diǎn)出發(fā)，通過調(diào)整推理過程和引入新的模型結(jié)構(gòu)來進(jìn)一步提升推理性能。

2024-04-10 標(biāo)簽：人工智能自然語(yǔ)言處理調(diào)度器 844 0

LLM推理任務(wù)中GPU的選擇策略

在Roofline模型可以直觀展示一張曲線圖，其中x軸表示AI（Arithmetic Intensity），即每個(gè)內(nèi)存操作對(duì)應(yīng)的浮點(diǎn)運(yùn)算次數(shù)；y軸表示性...

2024-04-07 標(biāo)簽：NVIDIAgpuLLM 1453 0

OpenVINO? C# API部署YOLOv9目標(biāo)檢測(cè)和實(shí)例分割模型

YOLOv9模型是YOLO系列實(shí)時(shí)目標(biāo)檢測(cè)算法中的最新版本，代表著該系列在準(zhǔn)確性、速度和效率方面的又一次重大飛躍。

2024-04-03 標(biāo)簽：英特爾計(jì)算機(jī)視覺深度學(xué)習(xí) 1280 0

OpenVINO?協(xié)同Semantic Kernel：優(yōu)化大模型應(yīng)用性能新路徑

作為主要面向 RAG 任務(wù)方向的框架，Semantic Kernel 可以簡(jiǎn)化大模型應(yīng)用開發(fā)過程，而在 RAG 任務(wù)中最常用的深度學(xué)習(xí)模型就是 Embe...

2024-03-08 標(biāo)簽：JAVAOpenAI大模型 1086 0

利用知識(shí)圖譜與Llama-Index技術(shù)構(gòu)建大模型驅(qū)動(dòng)的RAG系統(tǒng)（下）

對(duì)于語(yǔ)言模型（LLM）幻覺，知識(shí)圖譜被證明優(yōu)于向量數(shù)據(jù)庫(kù)。知識(shí)圖譜提供更準(zhǔn)確、多樣化、有趣、邏輯和一致的信息，減少了LLM中出現(xiàn)幻覺的可能性。

2024-02-22 標(biāo)簽：數(shù)據(jù)庫(kù)語(yǔ)言模型知識(shí)圖譜 1498 0

快速全面了解大模型長(zhǎng)文本能力

那關(guān)于LLM的長(zhǎng)文本能力，目前業(yè)界通常都是怎么做的？有哪些技術(shù)點(diǎn)或者方向？今天我們就來總結(jié)一波，供大家快速全面了解。

2024-02-22 標(biāo)簽：GPT位置編碼器大模型 1094 0

開發(fā)RAG管道過程中的12個(gè)痛點(diǎn)

準(zhǔn)確解釋用戶查詢以檢索相關(guān)的結(jié)構(gòu)化數(shù)據(jù)是困難的，特別是在面對(duì)復(fù)雜或模糊的查詢、不靈活的文本到SQL轉(zhuǎn)換方面

2024-02-21 標(biāo)簽：SQL數(shù)據(jù)源OpenAI 994 0

如何在TorchServe上提供LLMs的分布式推理

你可以看到我們?cè)谶@里使用了張量并行和并行預(yù)填充。它實(shí)際上幫助大大加快了推理速度。與等效的GPU相比，它使得Inferentia 2的成本大幅降低了。我們...

2024-01-31 標(biāo)簽：gpu內(nèi)存并行處理 1042 0

小紅書搜索團(tuán)隊(duì)研究新框架：負(fù)樣本在大模型蒸餾中的重要性

在思維鏈（CoT）提示的幫助下，大語(yǔ)言模型（LLMs）展現(xiàn)出強(qiáng)大的推理能力。然而，思維鏈已被證明是千億級(jí)參數(shù)模型才具有的涌現(xiàn)能力。

2024-01-30 標(biāo)簽：算法OpenAI大模型 1272 0

探索LangChain：構(gòu)建專屬LLM應(yīng)用的基石

LangChain通過Loader加載外部的文檔，轉(zhuǎn)化為標(biāo)準(zhǔn)的Document類型。Document類型主要包含兩個(gè)屬性：page_content 包含...

2024-01-30 標(biāo)簽：ChatGPTLLM 902 0

LLM推理加速新范式！推測(cè)解碼（Speculative Decoding）最新綜述

這個(gè)問題隨著LLM規(guī)模的增大愈發(fā)嚴(yán)重。并且，如下左圖所示，目前LLM常用的自回歸解碼（autoregressive decoding）在每個(gè)解碼步只能生...

2024-01-29 標(biāo)簽：解碼模型LLM 4118 0

淺析流行的LLM推理堆棧和設(shè)置

還有一個(gè)與批次大小有關(guān)的數(shù)量，它們?cè)谝粋€(gè)有趣的點(diǎn)上相交。這個(gè)點(diǎn)不取決于硬件之外的任何因素。舉例來說，在 A10G 和 A100 上，硬件可以實(shí)現(xiàn)的總浮點(diǎn)...

2024-01-29 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)gpuAI 513 0

使用基于Transformers的API在CPU上實(shí)現(xiàn)LLM高效推理

英特爾 Extension for Transformers是英特爾推出的一個(gè)創(chuàng)新工具包，可基于英特爾 架構(gòu)平臺(tái)，尤其是第四代英特爾 至強(qiáng) 可擴(kuò)展處理器...

2024-01-22 標(biāo)簽：處理器英特爾cpu 3166 0

大語(yǔ)言模型事實(shí)性幻象的實(shí)驗(yàn)性分析

盡管大語(yǔ)言模型能力不斷提升，但一個(gè)持續(xù)存在的挑戰(zhàn)是它們具有產(chǎn)生幻象的傾向。本文構(gòu)建了幻象評(píng)測(cè)基準(zhǔn)HaluEval 2.0，并基于該評(píng)測(cè)框架從預(yù)訓(xùn)練/有監(jiān)...

2024-01-19 標(biāo)簽：開源語(yǔ)言模型自然語(yǔ)言處理 684 0