隨著數(shù)據(jù)集的增長和分析神經(jīng)網(wǎng)絡的復雜化，越來越多的用戶選擇通過NVIDIA GPU加速AI推理。當前，人工智能的應用正從農業(yè)領域擴展到X射線領域，而NVIDIA GPU正是AI推理跨行業(yè)創(chuàng)新的助燃劑。

人工智能的應用，正從農業(yè)領域拓展醫(yī)學、X射線等各個領域，原因是因為它們擁有著基于海量數(shù)據(jù)迅速推斷出精明之選的神奇能力。

隨著數(shù)據(jù)集的增長和分析神經(jīng)網(wǎng)絡的復雜化，越來越多的用戶選擇用NVIDIA GPU來加速AI推理。

想要了解它們的實際應用，看看下面這些家喻戶曉的公司產品就能明白。

美國通用的GEResearch在航空、醫(yī)療保健、電力和運輸行業(yè)中部署了使用GPU加速的AI模型。這些模型實現(xiàn)了工廠檢查自動化，為智能列車的運行提供保障，并能監(jiān)控電站以及解釋醫(yī)學圖像。

這些AI模型被運行在裝載了V100Tensor Core GPU的NVIDIADGX系統(tǒng)上的數(shù)據(jù)中心服務器上，以及裝載了JetsonAGX Xavier模塊的邊緣計算網(wǎng)絡中。該硬件運行NVIDIA的TensorRT推理引擎及其用于深度學習的CUDA/ cuDNN加速庫，以及用于Jetson模塊的NVIDIAJetPack工具套件。

推理賦能視頻應用程序與合同管理

在消費市場上，全球兩個最受歡迎的移動視頻應用程序均在NVIDIA GPU上運行AI推理。

TikTok及其在中國的前身“抖音”在2019年2月全球下載量達到10億次。字節(jié)跳動作為這兩個應用程序的開發(fā)者和所有者，每天為4億活躍用戶每天上傳多達5000萬個新視頻。

字節(jié)跳動在數(shù)千個NVIDIA T4和P4 GPU服務器上運行TensorRT，用戶因此可以搜索并獲得有關精彩視頻的推薦。該公司估計， NVIDIA產品已幫助公司節(jié)省了數(shù)百萬美元，同時將在線服務的延遲減少了一半。

在商業(yè)領域，德勤在其dTrax軟件中使用AI推理來幫助公司管理復雜的合同。例如，當法規(guī)發(fā)生變化或公司計劃進行大規(guī)模收購時，dTrax可以定位并更新長期協(xié)議中的關鍵條款。

當前全球有多家公司使用dTrax。該軟件在數(shù)據(jù)中心的NVIDIA DGX-1系統(tǒng)和云中的AWS P3實例上運行，在2019年獲得了《金融時報》的智能商業(yè)獎。

GPU加速推理運行速度

金融服務公司Square的測試結果顯示，一般模型的推理任務在GPU上的運行速度是CPU的兩倍，而在大型模型（例如RoBERTa）上，推理工作的完成速度提升了10倍。

因此，NVIDIA GPU對于其實現(xiàn)將Square Assistant從虛擬調度程序擴展到驅動公司所有產品的對話式AI引擎的目標至關重要。

寶馬集團近期宣布將使用NVIDIA Isaac機器人平臺開發(fā)五種新型機器人，以增強其汽車制造廠的物流水平。其中一款由NVIDIA Jetson AGX Xavier支持的機器人可以每秒執(zhí)行多達32萬億次操作，以執(zhí)行諸如感知、姿勢估計和路徑規(guī)劃之類的計算機視覺任務。

AI推理也在汽車內部發(fā)生。中國的小鵬汽車于4月下旬推出了P7純電動轎車，它使用NVIDIA DRIVE AGX Xavier通過推理傳感器的數(shù)據(jù)以幫助實現(xiàn)3級自動駕駛功能。

過去三年來，NVIDIA數(shù)據(jù)中心平臺的推理性能提高了近50倍，這在很大程度上要歸功于Tensor Core的引入以及TensorRT中正在進行的軟件優(yōu)化以及PyTorch和TensorFlow等AI框架的提速。

來自世界各地的醫(yī)學專家在2020年GPU技術大會（GTC）上就放射、基因組學、顯微學和其他醫(yī)療保健領域的AI應用進行了數(shù)十次演講。在一次演講中，美國放射學院主席杰拉爾丁·麥金提（Geraldine McGinty）將AI稱為同時達成提高醫(yī)療質量和降低成本的“千載難逢的機會”。

在農業(yè)領域，越來越多的初創(chuàng)公司正在使用AI來提高效率。例如，NVIDIA 初創(chuàng)加速計劃會員Rabbit Tractors通過在多功能機器人上使用Jetson Nano模塊，從攝像頭和雷達數(shù)據(jù)中推斷出需要進行播種、澆水或收獲作物的位置。

還有其他公司也在通過GPU加速推理，其中包括美國運通的欺詐檢測、寶潔的工業(yè)檢查以及網(wǎng)絡巨頭的搜索引擎。

AI推理在NVIDIA DGX A100 GPU上的增益高達7倍

GPU推理的潛力在不斷上升，準確性不斷提高。

借助多實例GPU功能，NVIDIA Ampere架構將推理速度提高了7倍。A100 GPU中支持深度神經(jīng)網(wǎng)絡中稀疏性的新方法有望帶來更多收益。這是在A100 GPU的技術概述中討論的架構的幾個新功能之一。