一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何最大化推理性能?Triton 社區(qū)技術(shù)交流活動與您暢聊

NVIDIA英偉達企業(yè)解決方案 ? 來源:未知 ? 2023-02-15 16:10 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

由螞蟻集團和 NVIDIA 攜手舉辦的“Triton Meetup 2023”將于 2 月 25 日在北京舉行。該活動是 Triton 社區(qū)首次正式舉辦的線下技術(shù)交流活動。來自美團、京東、螞蟻、NVIDIA 的技術(shù)專家將帶來 AI Infra、推理引擎相關(guān)的專題分享,包括目前各企業(yè)面臨的模型推理挑戰(zhàn)、Triton 的應(yīng)用及落地的具體方案等,現(xiàn)身說法,干貨十足。此外,還有來自蔚來的特邀嘉賓,帶來“AI 推理服務(wù)的當(dāng)下與未來”圓桌主題討論,歡迎到現(xiàn)場的小伙伴積極參與!

活動地點

北京 BCos 共享辦公--多功能廳

(北京 WFC 環(huán)球金融中心辦公店)

活動時間

2023 年 2 月 25 日

14:00 - 18:00

活動報名

長按掃描下方二維碼

或點擊文末“閱讀原文

即可預(yù)約報名!

890b3a2e-ad07-11ed-bfe3-dac502259ad0.png

Triton Meetup 2023 活動流程

14:00 - 14:05

開場

14:05 - 14:45

NVIDIA Triton Inference Server的現(xiàn)在和未來

14:45 - 15:25

Triton 在螞蟻全場景落地的優(yōu)化

15:25 - 15:40

NVIDIA & 螞蟻開源社區(qū)共建啟動儀式

15:40 -16:20

Triton 在美團數(shù)據(jù)中心的應(yīng)用

16:20 - 17:00

Triton 在京東零售的應(yīng)用與實踐

17:00 - 17:20

圓桌討論:AI 推理服務(wù)的當(dāng)下與未來

下面一起來看看嘉賓陣容吧!

議題一:NVIDIA Triton
Inference Server 的現(xiàn)在和未來

申意

NVIDIA 解決方案架構(gòu)師

891f8a88-ad07-11ed-bfe3-dac502259ad0.png

負(fù)責(zé)為消費互聯(lián)網(wǎng)行業(yè)提供 GPU 計算解決方案。包括編解碼,數(shù)據(jù)前后處理,模型推理及服務(wù)化等。

議題簡介:

  • Triton 簡介

  • Triton 重要 Feature 簡介和 Roadmap 更新

  • Triton 的成功案例

議題二:Triton 在螞蟻全場景落地的優(yōu)化

饒星

螞蟻集團高級技術(shù)專家

89495a84-ad07-11ed-bfe3-dac502259ad0.jpg

螞蟻集團推理團隊技術(shù)負(fù)責(zé)人,負(fù)責(zé)螞蟻集團全部業(yè)務(wù)場景的推理服務(wù),長期專注在推理相關(guān)的架構(gòu)和性能優(yōu)化。

議題簡介:

  • Triton 在搜索、推薦、廣告業(yè)務(wù)場景的解決方案

  • Triton 在認(rèn)知業(yè)務(wù)的解決方案

  • 結(jié)合業(yè)務(wù)場景,螞蟻進一步的優(yōu)化方案

議題三:Triton 在美團數(shù)據(jù)中心的應(yīng)用

王新

美團機器學(xué)習(xí)平臺預(yù)測引擎團隊

技術(shù)負(fù)責(zé)人

8968707c-ad07-11ed-bfe3-dac502259ad0.png

美團機器學(xué)習(xí)平臺預(yù)測引擎團隊技術(shù)負(fù)責(zé)人,長期專注于機器學(xué)習(xí)預(yù)測引擎相關(guān)的開發(fā)工作。

議題簡介:

  • 機器學(xué)習(xí)模型在美團落地的痛點

  • Triton 落地的具體方案

  • 使用 Triton 的業(yè)務(wù)收益與效果

議題四:Triton 在京東零售的應(yīng)用與實踐

楊培軍

京東零售算法中臺技術(shù)架構(gòu)師

89a674c6-ad07-11ed-bfe3-dac502259ad0.jpg

長期從事機器學(xué)習(xí)平臺/深度學(xué)習(xí)推理加速和框架的研發(fā),曾負(fù)責(zé)阿里媽媽搜索廣告預(yù)估平臺、Bigo 機器學(xué)習(xí)平臺的建設(shè)。

議題簡介:

  • 京東零售的多元化算法需求給模型推理帶來的挑戰(zhàn)

  • 介紹京東算法中臺在面向 CV/NLP 場景基于 Triton 二次開發(fā)的高性能推理框架

  • 闡述推理框架的架構(gòu)演進和性能優(yōu)化工作

圓桌討論:AI 推理服務(wù)的當(dāng)下與未來

特邀嘉賓:郭城

蔚來自動駕駛研發(fā)平臺 (NADP)資深工程師

89baadc4-ad07-11ed-bfe3-dac502259ad0.jpg

負(fù)責(zé)搭建 NADP 云上推理系統(tǒng),模型 CICD。

交通指引 & 防疫政策

1. 自駕到場:

開車行進至“環(huán)球金融中心”,在大樓南側(cè)地下停車場進入。

2. 地鐵前往:

地鐵 10 號線至“金臺夕照”站,從 A 口出,步行 3-5 分鐘,從環(huán)球金融中心南門進入。


原文標(biāo)題:如何最大化推理性能?Triton 社區(qū)技術(shù)交流活動與您暢聊

文章出處:【微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 英偉達
    +關(guān)注

    關(guān)注

    22

    文章

    3933

    瀏覽量

    93353

原文標(biāo)題:如何最大化推理性能?Triton 社區(qū)技術(shù)交流活動與您暢聊

文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    BlackBerry QNX出席加中汽車新勢力企業(yè)交流活動

    近日,由加拿大駐華大使館主辦的“加中汽車新勢力企業(yè)交流活動”在北京成功舉辦。此次活動旨在促進加拿大與中國新能源汽車產(chǎn)業(yè)間的相互了解,挖掘潛在合作機遇。
    的頭像 發(fā)表于 06-19 13:47 ?247次閱讀

    震有科技出席一帶一路國家云計算交流活動

    近日,來自南非、印度尼西亞、埃塞俄比亞、坦桑尼亞、蒙古、格林納達、埃及、塔吉克斯坦等國家的政府及企業(yè)代表團齊聚一堂,圍繞云計算技術(shù)應(yīng)用、數(shù)字化轉(zhuǎn)型及國際合作等議題展開深入探討。作為“一帶一路”框架下的重要技術(shù)交流活動,本次活動
    的頭像 發(fā)表于 04-30 16:02 ?259次閱讀

    英偉達GTC25亮點:NVIDIA Dynamo開源庫加速并擴展AI推理模型

    Triton 推理服務(wù)器的后續(xù)產(chǎn)品,NVIDIA Dynamo 是一款全新的 AI 推理服務(wù)軟件,旨在為部署推理 AI 模型的 AI 工廠最大化
    的頭像 發(fā)表于 03-20 15:03 ?601次閱讀

    開源小滿社區(qū)首期技術(shù)交流會順利舉行

    近日,開源小滿(EasyXMen)社區(qū)第1期技術(shù)交流會在上海順利舉行。本次會議以“小滿社區(qū)軟件功能及治理方案”為主題,來自整車廠、零部件供應(yīng)商、軟件企業(yè)、芯片企業(yè)、高校及行業(yè)組織等31家單位的48位代表齊聚一堂,共同探討開源小滿
    的頭像 發(fā)表于 03-06 10:25 ?441次閱讀

    使用NVIDIA推理平臺提高AI推理性能

    NVIDIA推理平臺提高了 AI 推理性能,為零售、電信等行業(yè)節(jié)省了數(shù)百萬美元。
    的頭像 發(fā)表于 02-08 09:59 ?658次閱讀
    使用NVIDIA<b class='flag-5'>推理</b>平臺提高AI<b class='flag-5'>推理性能</b>

    解鎖NVIDIA TensorRT-LLM的卓越性能

    Batching、Paged KV Caching、量化技術(shù) (FP8、INT4 AWQ、INT8 SmoothQuant 等) 以及更多功能,確保的 NVIDIA GPU 能發(fā)揮出卓越的推理性能
    的頭像 發(fā)表于 12-17 17:47 ?781次閱讀

    光伏發(fā)電如何實現(xiàn)能效最大化

    光伏發(fā)電實現(xiàn)能效最大化是一個綜合性的問題,需要從多個方面入手。以下是一些關(guān)鍵措施: 一、選用優(yōu)質(zhì)設(shè)備 太陽能板 :選用具有高光電轉(zhuǎn)化效率和穩(wěn)定性的太陽能板是基礎(chǔ)。例如,單晶硅太陽能板通常比多
    的頭像 發(fā)表于 12-05 11:06 ?825次閱讀

    賽力斯與奧托立夫技術(shù)交流日順利舉行

    近日,奧托立夫首次走進賽力斯,在其重慶總部舉辦了一場規(guī)模盛大的全方位技術(shù)交流活動,并把前沿的安全黑科技和安全系統(tǒng)集成解決方案帶到了賽力斯。借此活動,雙方加深了對彼此在研發(fā)與市場方向的認(rèn)知,深化了合作關(guān)系,共同攜手打造了一場高水準(zhǔn)、高品質(zhì)、高規(guī)格的汽車安全產(chǎn)業(yè)
    的頭像 發(fā)表于 12-02 14:25 ?864次閱讀

    潤和軟件2024南京開源生態(tài)發(fā)展交流活動回顧

    基金會OpenHarmony項目群初始成員單位、A類捐贈人、核心共建單位,以及南京本地引領(lǐng)開源生態(tài)發(fā)展與技術(shù)創(chuàng)新的重點企業(yè),與母公司江蘇潤和軟件股份有限公司(以下簡稱“潤和軟件”)共同參與承辦“2024南京開源生態(tài)發(fā)展交流活動”,并受邀出席“2024‘才匯金陵’高層次軟件
    的頭像 發(fā)表于 09-23 16:03 ?1345次閱讀

    開箱即用,AISBench測試展示英特爾至強處理器的卓越推理性能

    近期,第五代英特爾?至強?可擴展處理器通過了中國電子技術(shù)標(biāo)準(zhǔn)化研究院組織的人工智能服務(wù)器系統(tǒng)性能測試(AISBench)。英特爾成為首批通過AISBench大語言模型(LLM)推理性能測試的企業(yè)
    的頭像 發(fā)表于 09-06 15:33 ?732次閱讀
    開箱即用,AISBench測試展示英特爾至強處理器的卓越<b class='flag-5'>推理性能</b>

    魔搭社區(qū)借助NVIDIA TensorRT-LLM提升LLM推理效率

    “魔搭社區(qū)是中國最具影響力的模型開源社區(qū),致力給開發(fā)者提供模型即服務(wù)的體驗。魔搭社區(qū)利用NVIDIA TensorRT-LLM,大大提高了大語言模型的推理性能,方便了模型應(yīng)用部署,提高
    的頭像 發(fā)表于 08-23 15:48 ?1060次閱讀

    賽力斯與意法半導(dǎo)體技術(shù)交流活動成功舉辦

    ???????近日,中國新能源汽車行業(yè)的領(lǐng)軍企業(yè)賽力斯(Seres)與意法半導(dǎo)體,在重慶聯(lián)合舉辦技術(shù)交流活動。
    的頭像 發(fā)表于 08-01 10:18 ?2436次閱讀

    奧托立夫與深藍汽車技術(shù)交流活動圓滿落幕

    2024年7月23日,奧托立夫深入合作伙伴深藍汽車重慶總部,成功舉辦了一場以“智馭安全·共筑未來”為核心議題的技術(shù)交流活動。此次活動不僅深化了雙方在汽車安全領(lǐng)域的合作紐帶,更彰顯了雙方攜手并進、共筑汽車安全新高地的堅定信念。
    的頭像 發(fā)表于 07-24 09:58 ?838次閱讀

    0706線下活動 I DDR4/DDR5內(nèi)存技術(shù)高速信號專題設(shè)計技術(shù)交流活動

    01活動主題DDR4/DDR5內(nèi)存技術(shù)高速信號專題設(shè)計技術(shù)交流活動時間:2024年7月6日(本周六)10:00地點:深圳市南山區(qū)科技南十二路曙光大廈1002(深圳地鐵1號線,高新園地鐵站D出口200
    的頭像 發(fā)表于 07-06 08:12 ?650次閱讀
    0706線下<b class='flag-5'>活動</b> I DDR4/DDR5內(nèi)存<b class='flag-5'>技術(shù)</b>高速信號專題設(shè)計<b class='flag-5'>技術(shù)交流活動</b>

    紫光同芯出席“走進理想”技術(shù)展覽及交流活動

    6月27日,“走進理想”技術(shù)展覽及交流活動在北京圓滿落幕。紫光同芯受邀出席,與行業(yè)專家、業(yè)界精英共聚一堂,圍繞電動化、智能化、輕量化等關(guān)鍵領(lǐng)域核心技術(shù),深入探討智能汽車發(fā)展進程中的創(chuàng)新路徑。
    的頭像 發(fā)表于 07-02 14:45 ?775次閱讀