本次 GTC 大會，來自阿里云機(jī)器學(xué)習(xí)平臺 PAI 的技術(shù)專家，將分享開源產(chǎn)品 DeepRec 的高性能 GPU 訓(xùn)練推理優(yōu)化，以及機(jī)器學(xué)習(xí)模型中訪存密集型計算 STITCH 融合優(yōu)化技術(shù)。

長按掃描下方二維碼，或點擊閱讀原文，注冊 GTC 并提前收藏阿里云機(jī)器學(xué)習(xí)平臺 PAI 的精彩演講。

全球 AI 市場近年來保持了快速增長的趨勢，根據(jù)市場研究機(jī)構(gòu) IDC 的數(shù)據(jù)顯示，預(yù)計到 2025 年，全球 AI 市場規(guī)模將達(dá)到 1.25 萬億美元。同時，中國已成為全球最大的 AI 應(yīng)用市場之一，據(jù)中國電子信息產(chǎn)業(yè)發(fā)展研究院發(fā)布的數(shù)據(jù)顯示，截至 2022 年底，國內(nèi) AI 產(chǎn)業(yè)規(guī)模達(dá)到 1204 億元人民幣，同比增長 59.5%。

并且隨著近階段 AIGC（AI generated content）概念的爆火，人工智能再次受到全球社會層面的廣泛關(guān)注。AIGC 能夠帶來更加創(chuàng)新的應(yīng)用，包括坐席輔助、智能語音、自動駕駛、人臉識別、擴(kuò)展現(xiàn)實、機(jī)器翻譯以及金融欺詐檢測等多個領(lǐng)域，潛力極大。

而在 AIGC 浪潮不斷帶來新驚喜的同時，今天 AI 開發(fā)門檻高仍然是亟待解決的問題。因硬件、框架和開發(fā)環(huán)境三者之間的適配度低，算法工程師們不得不關(guān)注底層基礎(chǔ)設(shè)施的調(diào)優(yōu)和適配工作，無形中降低了工作效率。

阿里云機(jī)器學(xué)習(xí) PAI 團(tuán)隊致力于為企業(yè)和開發(fā)者們提供云原生、高性能的 AI 平臺服務(wù)。在計算性能方面，專注于 AI 訓(xùn)練、AI 推理等方面的軟硬協(xié)同優(yōu)化工作，開源了豐富的工具套件。在平臺能力方面，PAI 團(tuán)隊推出覆蓋 AI 開發(fā)全鏈路的平臺產(chǎn)品，兼容各類底層計算硬件和 AI 框架，讓算法工程師們可以專注于 AI 開發(fā)的階段，實現(xiàn)云、端側(cè)、創(chuàng)新硬件等多種場景的創(chuàng)新。

以下為阿里云機(jī)器學(xué)習(xí)平臺 PAI 在本次 GTC 大會的演講簡介：

阿里云機(jī)器學(xué)習(xí)平臺 PAI 演講推薦

DeepRec: 面向推薦場景的

高性能深度學(xué)習(xí)框架

會議代碼：[S51544]

演講時間：3 月 23 日 3:00 PM

演講嘉賓：

劉童璇，阿里巴巴高級技術(shù)專家

劉仕杰，NVIDIA GPU 計算專家團(tuán)隊工程師

演講概要：

DeepRec 支持了淘寶搜索、猜你喜歡、定向、直通車等核心業(yè)務(wù)，支撐著千億特征、萬億樣本超大規(guī)模的搜索、推薦、廣告場景的模型訓(xùn)練和推理。自 DeepRec 開源以來，已有數(shù)十家互聯(lián)網(wǎng)公司將 DeepRec 應(yīng)用在他們的搜推廣場景的業(yè)務(wù)中，取得了顯著的業(yè)務(wù)效果提升和性能提升。DeepRec 中提供的功能和性能優(yōu)化主要分三個方面：1. 模型效果方面；2. 訓(xùn)練和推理優(yōu)化方面；3. 模型部署方面。

本次演講中，主要介紹 GPU 場景下，DeepRec 中多級 Embedding 混合存儲功能，圖感知的內(nèi)存/顯存分配器，SessionGroup 中多 CUDA Stream 支持，基于 NVIDIA Merlin HugeCTR SOK（Sparse Operation Kit）的 GPU 同步訓(xùn)練，以及Embedding 性能優(yōu)化 Group Embedding。

您可以在 github 上體驗 DeepRec：

https://github.com/alibaba/DeepRec

機(jī)器學(xué)習(xí)模型中訪存

密集型計算 STITCH 融合優(yōu)化技術(shù)

會議代碼：[SE51289]

演講時間：3 月 22 日2:00 PM

演講嘉賓：

鄭楨，阿里巴巴高級技術(shù)專家

演講概要：

近年來，訪存密集型計算日益成為影響機(jī)器學(xué)習(xí)模型性能的重要因素。由于機(jī)器學(xué)習(xí)模型計算圖日趨復(fù)雜，傳統(tǒng)的機(jī)器學(xué)習(xí)編譯器面對復(fù)雜的數(shù)據(jù)依賴關(guān)系時很難執(zhí)行高效的計算融合優(yōu)化。同時，動態(tài)張量形狀（dynamic tensor shape）的模型優(yōu)化需求開始興起，缺失的張量形狀使得訪存密集型計算子圖的性能優(yōu)化變得更加困難。

本次演講將講述阿里巴巴針對機(jī)器學(xué)習(xí)任務(wù)中訪存密集型計算性能優(yōu)化的關(guān)鍵技術(shù)：STITCH 融合技術(shù)。該技術(shù)支持將任意類型及任何數(shù)量的機(jī)器學(xué)習(xí)訪存密集型算子進(jìn)行融合，最終將大粒度的訪存密集型計算子圖轉(zhuǎn)化為單個的 GPU 核函數(shù)，以減少片外訪存、框架調(diào)度及 GPU 核函數(shù)調(diào)用開銷。

如何預(yù)約和注冊

在 GTC 大會官網(wǎng)(https://www.nvidia.cn/gtc-global/)搜索會議代碼找到該演講，點擊“Add to Schedule”或右上角五角星，提前預(yù)約或收藏。

如下圖 [S51544] 演講，點擊“Add to Schedule”或右上角五角星，即可添加至您的日程。

GTC 大會注冊流程請參看 GTC23 注冊教程，請在 3 月 26 日前完成在線注冊，免費(fèi)觀看以及回看 GTC 2023 春季大會超過 650 場精彩內(nèi)容！

掃描下方海報二維碼，鎖定 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的 GTC 主題演講！北京時間 3 月 21 日 23:00 全球首播，3 月 22 日 10:00 中國重播。深度解讀 NVIDIA 加速計算平臺如何推動人工智能、元宇宙、云技術(shù)和可持續(xù)計算的下一波浪潮。加入 GTC23，切勿錯過 AI 的決定性時刻！