一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

點(diǎn)亮未來:TensorRT-LLM 更新加速 AI 推理性能,支持在 RTX 驅(qū)動的 Windows PC 上運(yùn)行新模型

NVIDIA英偉達(dá)企業(yè)解決方案 ? 來源:未知 ? 2023-11-16 21:15 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

微軟 Ignite 2023 技術(shù)大會發(fā)布的新工具和資源包括 OpenAIChatAPI 的 TensorRT-LLM 封裝接口、RTX 驅(qū)動的性能改進(jìn) DirectMLforLlama2、其他熱門 LLM

Windows PC 上的 AI 標(biāo)志著科技史上的關(guān)鍵時(shí)刻,它將徹底改變玩家、創(chuàng)作者、主播、上班族、學(xué)生乃至普通 PC 用戶的體驗(yàn)。

AI 為 1 億多臺采用 RTX GPU 的 Windows PC 和工作站提高生產(chǎn)力帶來前所未有的機(jī)會。NVIDIA RTX 技術(shù)使開發(fā)者更輕松地創(chuàng)建 AI 應(yīng)用,從而改變?nèi)藗兪褂糜?jì)算機(jī)的方式。

在微軟 Ignite 2023 技術(shù)大會上發(fā)布的全新優(yōu)化、模型和資源將更快地幫助開發(fā)者提供新的終端用戶體驗(yàn)。

TensorRT-LLM 是一款提升 AI 推理性能的開源軟件,它即將發(fā)布的更新將支持更多大語言模型,在 RTX GPU 8GB 及以上顯存的 PC 和筆記本電腦上使要求嚴(yán)苛的 AI 工作負(fù)載更容易完成。

Tensor RT-LLM for Windows 即將通過全新封裝接口與 OpenAI 廣受歡迎的聊天 API 兼容。這將使數(shù)以百計(jì)的開發(fā)者項(xiàng)目和應(yīng)用能在 RTX PC 的本地運(yùn)行,而非云端運(yùn)行,因此用戶可以在 PC 上保留私人和專有數(shù)據(jù)。

定制的生成式 AI 需要時(shí)間和精力來維護(hù)項(xiàng)目。特別是跨多個(gè)環(huán)境和平臺進(jìn)行協(xié)作和部署時(shí),該過程可能會異常復(fù)雜和耗時(shí)。

AI Workbench 是一個(gè)統(tǒng)一、易用的工具包,允許開發(fā)者在 PC 或工作站上快速創(chuàng)建、測試和定制預(yù)訓(xùn)練生成式 AI 模型和 LLM。它為開發(fā)者提供一個(gè)單一平臺,用于組織他們的 AI 項(xiàng)目,并根據(jù)特定用戶需求來調(diào)整模型。

這使開發(fā)者能夠進(jìn)行無縫協(xié)作和部署,快速創(chuàng)建具有成本效益、可擴(kuò)展的生成式 AI 模型。加入搶先體驗(yàn)名單,成為首批用戶以率先了解不斷更新的功能,并接收更新信息。

為支持 AI 開發(fā)者,NVIDIA 與微軟發(fā)布 DirectML 增強(qiáng)功能以加速最熱門的基礎(chǔ) AI 模型之一的 Llama 2。除了全新性能標(biāo)準(zhǔn),開發(fā)者現(xiàn)在有更多跨供應(yīng)商部署可選。

便攜式 AI

2023 年 10 月,NVIDIA 發(fā)布 TensorRT-LLM for Windows —— 一個(gè)用于加速大語言模型(LLM)推理的庫。

本月底發(fā)布的 TensorRT-LLM v0.6.0 更新將帶來至高達(dá) 5 倍的推理性能提升,并支持更多熱門的 LLM,包括全新 Mistral 7B 和 Nemotron-3 8B。這些 LLM 版本將可在所有采用 8GB 及以上顯存的 GeForce RTX 30系列和 40系列 GPU 上運(yùn)行,從而使最便攜的 Windows PC 設(shè)備也能獲得快速、準(zhǔn)確的本地運(yùn)行 LLM 功能。

wKgaomVWFwiAI5yYAAD9zpwM1bA457.jpg

TensorRT-LLM v0.6.0

帶來至高達(dá) 5 倍推理性能提升

新發(fā)布的 TensorRT-LLM 可在/NVIDIA/TensorRT-LLMGitHub 代碼庫中下載安裝,新調(diào)優(yōu)的模型將在ngc.nvidia.com提供。

從容對話

世界各地的開發(fā)者和愛好者將 OpenAI 的聊天 API 廣泛用于各種應(yīng)用——從總結(jié)網(wǎng)頁內(nèi)容、起草文件和電子郵件,到分析和可視化數(shù)據(jù)以及創(chuàng)建演示文稿。

這類基于云的 AI 面臨的一大挑戰(zhàn)是它們需要用戶上傳輸入數(shù)據(jù),因此對于私人或?qū)S袛?shù)據(jù)以及處理大型數(shù)據(jù)集來說并不實(shí)用。

為應(yīng)對這一挑戰(zhàn),NVIDIA 即將啟用 TensorRT-LLM for Windows,通過全新封裝接口提供與 OpenAI 廣受歡迎的 ChatAPI 類似的 API 接口,為開發(fā)者帶來類似的工作流,無論他們設(shè)計(jì)的模型和應(yīng)用要在 RTX PC 的本地運(yùn)行,還是在云端運(yùn)行。只需修改一兩行代碼,數(shù)百個(gè) AI 驅(qū)動的開發(fā)者項(xiàng)目和應(yīng)用現(xiàn)在就能從快速的本地 AI 中受益。用戶可將數(shù)據(jù)保存在 PC 上,不必?fù)?dān)心將數(shù)據(jù)上傳到云端。

使用由 TensorRT-LLM 驅(qū)動的

Microsoft VS Code 插件 Continue.dev 編碼助手

此外,最重要的一點(diǎn)是這些項(xiàng)目和應(yīng)用中有很多都是開源的,開發(fā)者可以輕松利用和擴(kuò)展它們的功能,從而加速生成式 AI 在 RTX 驅(qū)動的 Windows PC 上的應(yīng)用。

該封裝接口可與所有對 TensorRT-LLM 進(jìn)行優(yōu)化的 LLM (如,Llama 2、Mistral 和 NV LLM)配合使用,并作為參考項(xiàng)目在 GitHub 上發(fā)布,同時(shí)發(fā)布的還有用于在 RTX 上使用 LLM 的其他開發(fā)者資源。

模型加速

開發(fā)者現(xiàn)可利用尖端的 AI 模型,并通過跨供應(yīng)商 API 進(jìn)行部署。NVIDIA 和微軟一直致力于增強(qiáng)開發(fā)者能力,通過 DirectML API 在 RTX 上加速 Llama。

在 10 月宣布的為這些模型提供最快推理性能的基礎(chǔ)上,這一跨供應(yīng)商部署的全新選項(xiàng)使將 AI 引入 PC 變得前所未有的簡單。

開發(fā)者和愛好者可下載最新的 ONNX 運(yùn)行時(shí)并按微軟的安裝說明進(jìn)行操作,同時(shí)安裝最新 NVIDIA 驅(qū)動(將于 11 月 21 日發(fā)布)以獲得最新優(yōu)化體驗(yàn)。

這些新優(yōu)化、模型和資源將加速 AI 功能和應(yīng)用在全球 1 億臺 RTX PC 上的開發(fā)和部署,一并加入 400 多個(gè)合作伙伴的行列,他們已經(jīng)發(fā)布了由 RTX GPU 加速的 AI 驅(qū)動的應(yīng)用和游戲。

隨著模型易用性的提高,以及開發(fā)者將更多生成式 AI 功能帶到 RTX 驅(qū)動的 Windows PC 上,RTX GPU 將成為用戶利用這一強(qiáng)大技術(shù)的關(guān)鍵。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行,線上大會也將同期開放。點(diǎn)擊“閱讀原文”掃描下方海報(bào)二維碼,立即注冊 GTC 大會。


原文標(biāo)題:點(diǎn)亮未來:TensorRT-LLM 更新加速 AI 推理性能,支持在 RTX 驅(qū)動的 Windows PC 上運(yùn)行新模型

文章出處:【微信公眾號:NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 英偉達(dá)
    +關(guān)注

    關(guān)注

    22

    文章

    3944

    瀏覽量

    93652

原文標(biāo)題:點(diǎn)亮未來:TensorRT-LLM 更新加速 AI 推理性能,支持在 RTX 驅(qū)動的 Windows PC 上運(yùn)行新模型

文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    如何在魔搭社區(qū)使用TensorRT-LLM加速優(yōu)化Qwen3系列模型推理部署

    TensorRT-LLM 作為 NVIDIA 專為 LLM 推理部署加速優(yōu)化的開源庫,可幫助開發(fā)者快速利用最新 LLM 完成應(yīng)用原型驗(yàn)證與產(chǎn)
    的頭像 發(fā)表于 07-04 14:38 ?622次閱讀

    使用NVIDIA Triton和TensorRT-LLM部署TTS應(yīng)用的最佳實(shí)踐

    針對基于 Diffusion 和 LLM 類別的 TTS 模型,NVIDIA Triton 和 TensorRT-LLM 方案能顯著提升推理速度。
    的頭像 發(fā)表于 06-12 15:37 ?571次閱讀
    使用NVIDIA Triton和<b class='flag-5'>TensorRT-LLM</b>部署TTS應(yīng)用的最佳實(shí)踐

    英偉達(dá)GTC25亮點(diǎn):NVIDIA Dynamo開源庫加速并擴(kuò)展AI推理模型

    NVIDIA Dynamo 提高了推理性能,同時(shí)降低了擴(kuò)展測試時(shí)計(jì)算 (Scaling Test-Time Compute) 的成本; NVIDIA Blackwell 推理優(yōu)化
    的頭像 發(fā)表于 03-20 15:03 ?641次閱讀

    使用NVIDIA推理平臺提高AI推理性能

    NVIDIA推理平臺提高了 AI 推理性能,為零售、電信等行業(yè)節(jié)省了數(shù)百萬美元。
    的頭像 發(fā)表于 02-08 09:59 ?707次閱讀
    使用NVIDIA<b class='flag-5'>推理</b>平臺提高<b class='flag-5'>AI</b><b class='flag-5'>推理性能</b>

    新品| LLM630 Compute Kit,AI 大語言模型推理開發(fā)平臺

    LLM630LLM推理,視覺識別,可開發(fā),靈活擴(kuò)展···LLM630ComputeKit是一款AI大語言模型
    的頭像 發(fā)表于 01-17 18:48 ?688次閱讀
    新品| <b class='flag-5'>LLM</b>630 Compute Kit,<b class='flag-5'>AI</b> 大語言<b class='flag-5'>模型</b><b class='flag-5'>推理</b>開發(fā)平臺

    NVIDIA推出面向RTX AI PCAI基礎(chǔ)模型

    NVIDIA 今日發(fā)布能在 NVIDIA RTX AI PC 本地運(yùn)行的基礎(chǔ)模型,為數(shù)字人、內(nèi)容創(chuàng)作、生產(chǎn)力和開發(fā)提供強(qiáng)大助力。
    的頭像 發(fā)表于 01-08 11:01 ?545次閱讀

    NVIDIA TensorRT-LLM中啟用ReDrafter的一些變化

    Recurrent Drafting (簡稱 ReDrafter) 是蘋果公司為大語言模型 (LLM) 推理開發(fā)并開源的一種新型推測解碼技術(shù),該技術(shù)現(xiàn)在可與 NVIDIA TensorRT-L
    的頭像 發(fā)表于 12-25 17:31 ?742次閱讀
    <b class='flag-5'>在</b>NVIDIA <b class='flag-5'>TensorRT-LLM</b>中啟用ReDrafter的一些變化

    解鎖NVIDIA TensorRT-LLM的卓越性能

    NVIDIA TensorRT-LLM 是一個(gè)專為優(yōu)化大語言模型 (LLM) 推理而設(shè)計(jì)的庫。它提供了多種先進(jìn)的優(yōu)化技術(shù),包括自定義 Attention Kernel、Inflight
    的頭像 發(fā)表于 12-17 17:47 ?849次閱讀

    Arm KleidiAI助力提升PyTorchLLM推理性能

    熱門的深度學(xué)習(xí)框架尤為突出,許多企業(yè)均會選擇其作為開發(fā) AI 應(yīng)用的庫。通過部署 Arm Kleidi 技術(shù),Arm 正在努力優(yōu)化 PyTorch,以加速基于 Arm 架構(gòu)的處理器
    的頭像 發(fā)表于 12-03 17:05 ?1481次閱讀
    Arm KleidiAI助力提升PyTorch<b class='flag-5'>上</b><b class='flag-5'>LLM</b><b class='flag-5'>推理性能</b>

    NVIDIA TensorRT-LLM Roadmap現(xiàn)已在GitHub公開發(fā)布

    感謝眾多用戶及合作伙伴一直以來對NVIDIA TensorRT-LLM支持TensorRT-LLM 的 Roadmap 現(xiàn)已在 GitHub 公開發(fā)布!
    的頭像 發(fā)表于 11-28 10:43 ?714次閱讀
    NVIDIA <b class='flag-5'>TensorRT-LLM</b> Roadmap現(xiàn)已在GitHub<b class='flag-5'>上</b>公開發(fā)布

    TensorRT-LLM低精度推理優(yōu)化

    本文將分享 TensorRT-LLM 中低精度量化內(nèi)容,并從精度和速度角度對比 FP8 與 INT8。首先介紹性能,包括速度和精度。其次,介紹量化工具 NVIDIA TensorRT Model
    的頭像 發(fā)表于 11-19 14:29 ?1238次閱讀
    <b class='flag-5'>TensorRT-LLM</b>低精度<b class='flag-5'>推理</b>優(yōu)化

    開箱即用,AISBench測試展示英特爾至強(qiáng)處理器的卓越推理性能

    。 中國電子技術(shù)標(biāo)準(zhǔn)化研究院賽西實(shí)驗(yàn)室依據(jù)國家標(biāo)準(zhǔn)《人工智能服務(wù)器系統(tǒng)性能測試規(guī)范》(征求意見稿)相關(guān)要求,使用AISBench?2.0測試工具,完成了第五代英特爾至強(qiáng)可擴(kuò)展處理器的AI模型
    的頭像 發(fā)表于 09-06 15:33 ?808次閱讀
    開箱即用,AISBench測試展示英特爾至強(qiáng)處理器的卓越<b class='flag-5'>推理性能</b>

    RTX AI PC和工作站提供強(qiáng)大AI性能

    由 NVIDIA RTX 和 GeForce RTX 技術(shù)驅(qū)動AI PC 時(shí)代已經(jīng)到來。在這一背景下,一種評估
    的頭像 發(fā)表于 08-23 16:57 ?1040次閱讀

    魔搭社區(qū)借助NVIDIA TensorRT-LLM提升LLM推理效率

    “魔搭社區(qū)是中國最具影響力的模型開源社區(qū),致力給開發(fā)者提供模型即服務(wù)的體驗(yàn)。魔搭社區(qū)利用NVIDIA TensorRT-LLM,大大提高了大語言模型
    的頭像 發(fā)表于 08-23 15:48 ?1130次閱讀

    LLM模型推理加速的關(guān)鍵技術(shù)

    LLM(大型語言模型)大模型推理加速是當(dāng)前人工智能領(lǐng)域的一個(gè)研究熱點(diǎn),旨在提高模型
    的頭像 發(fā)表于 07-24 11:38 ?1798次閱讀