人工智能的快速發(fā)展正在推高數(shù)據(jù)集的規(guī)模，以及網(wǎng)絡(luò)的規(guī)模和復(fù)雜性。支持人工智能的應(yīng)用程序，如電子商務(wù)產(chǎn)品推薦、基于語音的助手和呼叫中心自動化，需要數(shù)十到數(shù)百個經(jīng)過培訓(xùn)的人工智能模型。推理服務(wù)幫助基礎(chǔ)設(shè)施管理人員部署、管理和擴(kuò)展這些模型，并在生產(chǎn)中保證實(shí)時服務(wù)質(zhì)量（ QoS ）。此外，基礎(chǔ)架構(gòu)經(jīng)理希望提供和管理用于部署這些 AI 模型的正確計(jì)算基礎(chǔ)架構(gòu)，最大限度地利用計(jì)算資源，靈活地放大或縮小規(guī)模，以優(yōu)化部署的運(yùn)營成本。將人工智能投入生產(chǎn)既是一項(xiàng)推理服務(wù)，也是一項(xiàng)基礎(chǔ)設(shè)施管理挑戰(zhàn)。

NVIDIA 與谷歌云合作，將 CPU 和 GPU 通用推理服務(wù)平臺 NVIDIA Triton Inference Server的功能與谷歌 Kubernetes 引擎（ GKE ）相結(jié)合，使企業(yè)更容易將人工智能投入生產(chǎn)。NVIDIA Triton Inference Server 是一個托管環(huán)境，用于在安全的谷歌基礎(chǔ)設(shè)施中部署、擴(kuò)展和管理容器化人工智能應(yīng)用程序。

使用 NVIDIA Triton 推理服務(wù)器在谷歌云上的 CPU 和 GPU 上提供推理服務(wù)

在企業(yè)應(yīng)用程序中操作 AI 模型帶來了許多挑戰(zhàn)——為在多個框架中培訓(xùn)的模型提供服務(wù)，處理不同類型的推理查詢類型，并構(gòu)建一個能夠跨 CPU 和 GPU 等多個部署平臺進(jìn)行優(yōu)化的服務(wù)解決方案。

Triton 推理服務(wù)器通過提供一個單一的標(biāo)準(zhǔn)化推理平臺來解決這些挑戰(zhàn)，該平臺可以從任何基于 TensorFlow 、TensorRT、 PyTorch 、 ONNX 運(yùn)行時、 OpenVINO 或自定義 C ++/ Python 框架的本地存儲或谷歌云的托管存儲在任何基于 GPU 或 CPU 的基礎(chǔ)設(shè)施上部署經(jīng)過培訓(xùn)的 AI 模型。

圖 1 Triton 部署在 Google Kubernetes 引擎（ GKE ）上的推理服務(wù)器

在 GKE 集群上一鍵部署 NVIDIA Triton 推理服務(wù)器

Google Kubernetes Engine （ GKE ）上的 Triton 為部署在 CPU 和 GPU 上的 AI 模型提供了通用推理服務(wù)平臺，并結(jié)合了 Kubernetes 群集管理、負(fù)載平衡和基于需求的自動縮放計(jì)算的方便性。

使用谷歌市場上新的一鍵式 Triton GKE 推理服務(wù)器應(yīng)用程序，可以將 Triton 無縫部署為 Google Kubernetes Engine （ GKE ）管理的集群上的容器化微服務(wù)。

GKE 的 Triton 推理服務(wù)器應(yīng)用程序是一個 helm chart 部署程序，可自動安裝和配置 Triton ，以便在具有 NVIDIA GPU 節(jié)點(diǎn)池的 GKE 集群上使用，包括 NVIDIA A100 Tensor Core GPU s 和 NVIDIA T4 Tensor Core GPU s ，并利用谷歌云上的 Istio 進(jìn)行流量進(jìn)入和負(fù)載平衡。它還包括一個水平 pod autoscaler （ HPA ），它依賴堆棧驅(qū)動程序自定義度量適配器來監(jiān)控 GPU 占空比，并根據(jù)推理查詢和 SLA 要求自動縮放 GKE 集群中的 GPU 節(jié)點(diǎn)。

關(guān)于作者

Uttara Kumar 是 NVIDIA 的高級產(chǎn)品營銷經(jīng)理，專注于 GPU - 云計(jì)算中的人工智能加速應(yīng)用。她非常關(guān)心讓每個人都能獲得技術(shù)的民主化，讓開發(fā)者能夠利用 NVIDIA 數(shù)據(jù)中心平臺的力量來加快創(chuàng)新步伐。在 NVIDIA 之前，她領(lǐng)導(dǎo)半導(dǎo)體和科學(xué)計(jì)算軟件公司的軟件產(chǎn)品營銷。她擁有安娜堡密歇根大學(xué)的 Eel CTR 工程碩士學(xué)位。

審核編輯：郭婷