NVIDIA已經(jīng)宣傳Xavier好幾年了，最近終于披露重要的參數(shù)細(xì)節(jié)。作為有史以來(lái)最龐大、最復(fù)雜的片上系統(tǒng)（SOC），Xavier設(shè)計(jì)用于支持各種復(fù)雜的人工智能實(shí)時(shí)推理處理，用于無(wú)人機(jī)、機(jī)器人和自動(dòng)駕駛。

雖然特斯拉已經(jīng)選擇設(shè)計(jì)自己的芯片平臺(tái)用于自主駕駛，但在看到這個(gè)平臺(tái)提供了什么之后，我不敢相信這個(gè)決定是基于NVIDIA DrivePX Pegasus的性能或靈活性不足的。

NVIDIA聲稱Xavier是迄今為止發(fā)明的最復(fù)雜的SOC。它包括大量的專用處理器，用于在視覺(jué)系統(tǒng)中必須處理的各種任務(wù)，直到，滿足無(wú)人駕駛的車輛。

這些參數(shù)包括：

用于控制和管理的8核定制ARM處理器CAMMEL；

兩個(gè)NVIDIA深度學(xué)習(xí)加速器（DLAs），用于運(yùn)行卷積神經(jīng)網(wǎng)絡(luò)來(lái)處理目標(biāo)檢測(cè)和識(shí)別；

一個(gè)定制的VALTA GPU，面向通用AI模型；

雙可編程視覺(jué)加速器，用于非AI計(jì)算機(jī)視覺(jué)架構(gòu)，基于雙矢量處理器；

一種用于輸入融合和流媒體的立體光流引擎；

VoltaGPU已經(jīng)被精簡(jiǎn)，以適應(yīng)SOC和降低功率，省略了諸如HB2存儲(chǔ)器和32/64位浮點(diǎn)（在AI推理工作中不需要）的特征。此外，SOC包括NVLink端口，以使SOC能夠訪問(wèn)2個(gè)離散的全功能Volta GPU，用于更苛刻的工作，例如5級(jí)完全自動(dòng)駕駛車輛。

作為全球首個(gè)自動(dòng)駕駛處理器，Xavier是迄今為止最復(fù)雜的系統(tǒng)級(jí)芯片，擁有超過(guò)90億個(gè)晶體管，可以處理海量數(shù)據(jù)。Xavier的 GMSL（千兆多媒體串行鏈路）高速IO將其與迄今為止最大陣列的激光雷達(dá)、雷達(dá)和攝像頭傳感器連接起來(lái)。

該系統(tǒng)級(jí)芯片內(nèi)置六種處理器：ISP（圖像信號(hào)處理器）、VPU（視頻處理單元）、PVA（可編程視覺(jué)加速器）、DLA（深度學(xué)習(xí)加速器）、CUDA GPU和CPU，每秒可進(jìn)行近40萬(wàn)億次運(yùn)算，僅深度學(xué)習(xí)就高達(dá)30萬(wàn)億次。

這一處理水平比上一代DRIVE PX2參考設(shè)計(jì)要強(qiáng)大10倍。

為什么Nvidia會(huì)在這個(gè)復(fù)雜的芯片上放這么多不同類型的處理器和加速器呢？目前自動(dòng)駕駛所需的軟件和數(shù)據(jù)集仍在開(kāi)發(fā)中?；赬avier，NVIDIA已經(jīng)建立了一個(gè)通用的和可擴(kuò)展的架構(gòu)，為快速發(fā)展的市場(chǎng)。

NVIDIA希望確保它支持可能出現(xiàn)的OEM需求的超集，當(dāng)設(shè)計(jì)者構(gòu)建軟件來(lái)捕獲、融合和處理來(lái)自雷達(dá)、LIDAR和視頻源的傳感器輸入時(shí)，這些需求可能會(huì)出現(xiàn)。

當(dāng)特斯拉解釋為什么要從采用NVIDIA芯片轉(zhuǎn)而使用自己研發(fā)的ASIC時(shí)，使用的性能比較是基于兩代以前的NVIDIA技術(shù)（Maxwell）。

而NVIDIA聲稱，Xavier大約比2016年基于PASCAL的Parker SOC快一個(gè)數(shù)量級(jí)。有業(yè)內(nèi)人士猜測(cè)，特斯拉之所以“選擇離開(kāi)”英偉達(dá)，或是可能他不想自己的車和競(jìng)爭(zhēng)對(duì)手“同質(zhì)化”（都采用英偉達(dá)芯片），或是基于Xavier的Drive-PX價(jià)格不低。

接下來(lái)，NVIDIA將以至少三個(gè)平臺(tái)來(lái)布局Xavier SOC：用于無(wú)人機(jī)和機(jī)器人的Jetson Xavier，用于諸如L3-4級(jí)駕駛輔助的Drive Xavier，以及旗艦Drive Pegasus，具有雙Xavier SOC和2瓦GPU，以支持完全自動(dòng)駕駛的L5級(jí)。

顯然，NVIDIA知道如何為視覺(jué)處理設(shè)備構(gòu)建高性能和可伸縮的平臺(tái)，并且仍然處于非常有利的行業(yè)位置。目前尚不清楚的是，隨著初創(chuàng)企業(yè)、英特爾、谷歌和其他汽車制造商內(nèi)部開(kāi)發(fā)團(tuán)隊(duì)將他們的AI產(chǎn)品推向市場(chǎng)，NVIDIA在未來(lái)幾年將面臨不可見(jiàn)的競(jìng)爭(zhēng)。

從目前來(lái)看，Xavier SOC上披露的新細(xì)節(jié)表明，NVIDIA沒(méi)有回避視覺(jué)處理系統(tǒng)的艱巨計(jì)算挑戰(zhàn)。它把不同部分分配給特定處理器，包括GPU、矢量處理器和ASIC。

此外，隨著英偉達(dá)圖靈圖形處理單元(GPU)架構(gòu)的推出，該公司“重新發(fā)明了計(jì)算機(jī)圖形學(xué)”。該架構(gòu)將成為未來(lái)一系列圖形芯片的基礎(chǔ)，這些芯片將專注于實(shí)時(shí)光線追蹤，或高度真實(shí)、物理精確的圖形。

該架構(gòu)可比上代架構(gòu)快5倍的速度處理圖形。圖靈的新RT Cores（光線追蹤核心）可以加速光線追蹤，而新的Tensor Cores（張量核心）可以用于人工智能推理，這兩種功能首次結(jié)合起來(lái)，使實(shí)時(shí)光線追蹤成為可能。

圖靈架構(gòu)還具有Tensor Cores(即人工智能子處理器)，它可以加速深度學(xué)習(xí)訓(xùn)練和推理，每秒可提供500萬(wàn)億張量操作。這個(gè)性能級(jí)別支持AI增強(qiáng)的特性，可用于創(chuàng)建具有強(qiáng)大新功能的應(yīng)用程序。這些包括DLAA （深度學(xué)習(xí)抗鋸齒），這是高質(zhì)量運(yùn)動(dòng)圖像生成的突破，其他應(yīng)用還包括去噪、分辨率縮放和視頻調(diào)速。

顯然，圖靈架構(gòu)這種能力能夠創(chuàng)建真實(shí)感的虛擬環(huán)境，駕駛模擬器將需要虛擬環(huán)境來(lái)測(cè)試和驗(yàn)證安全自主或輔助駕駛所需的硬件和軟件。

現(xiàn)在，NVIDIA的挑戰(zhàn)是確保它與車輛設(shè)計(jì)團(tuán)隊(duì)保持緊密聯(lián)系，以了解他們的硬件、軟件和定價(jià)（成本）要求。隨著自動(dòng)駕駛開(kāi)始走向主流，NVIDIA有必要將其早期的技術(shù)領(lǐng)導(dǎo)地位轉(zhuǎn)變?yōu)槭杖牒褪袌?chǎng)份額的領(lǐng)導(dǎo)地位。

畢竟，在汽車業(yè)務(wù)營(yíng)收上，NVIDIA和英特爾（后者收購(gòu)的Mobileye）還不在一個(gè)級(jí)別。

英偉達(dá)的表現(xiàn)，似乎在說(shuō)明一些問(wèn)題。特別是汽車方面，英偉達(dá)二季度來(lái)自企業(yè)行業(yè)的收入增長(zhǎng)了13%，達(dá)到1.61億美元（新的數(shù)字紀(jì)錄），這是其連續(xù)三個(gè)季度的第一次兩位數(shù)增長(zhǎng)率。

不過(guò)，或許更令人興奮的是，英偉達(dá)已經(jīng)開(kāi)始量產(chǎn)并交代DRIVE Pegasus平臺(tái)，同時(shí)戴姆勒和博世也在今年宣布在該平臺(tái)上建立自動(dòng)駕駛出租車服務(wù)。

另一個(gè)英偉達(dá)值得期待的產(chǎn)品就是針對(duì)自動(dòng)駕駛汽車測(cè)試的仿真系統(tǒng)—DRIVE Constellation，這是一款基于兩種不同服務(wù)器的計(jì)算平臺(tái)。

第一臺(tái)服務(wù)器運(yùn)行英偉達(dá)DRIVE Sim軟件，用以模擬自動(dòng)駕駛汽車的傳感器，如攝像頭、激光雷達(dá)和毫米波雷達(dá)傳感器。

第二臺(tái)服務(wù)器則搭載了英偉達(dá)DRIVE Pegasus計(jì)算平臺(tái)，可運(yùn)行完整的自動(dòng)駕駛汽車軟件堆棧，并能夠處理模擬數(shù)據(jù)——這些模擬數(shù)據(jù)如同來(lái)自路面行駛汽車上的傳感器。

仿真服務(wù)器由英偉達(dá)GPU提供支持，每臺(tái)服務(wù)器都會(huì)生成仿真?zhèn)鞲衅鲾?shù)據(jù)流，并將其傳送至DRIVE Pegasus進(jìn)行處理。

據(jù)官方介紹，英偉達(dá)正在打造一個(gè)“硬件在環(huán)”（Hardware in the loop，HiL）。這一“硬件在環(huán)”周期的發(fā)生頻率為每秒30次，可用于驗(yàn)證在Pegasus上運(yùn)行的算法和軟件對(duì)仿真車輛進(jìn)行的操作是否正確。

DRIVE Sim軟件可生成照片級(jí)逼真的數(shù)據(jù)流，以創(chuàng)建大量不同的測(cè)試環(huán)境。它能夠模擬諸如暴雨和暴風(fēng)雪等不同天氣狀況；一天中不同時(shí)間內(nèi)的光線變化，或是夜間受限的視野；以及所有不同類型的路面和地形。

在模擬過(guò)程中可設(shè)置各種危險(xiǎn)情況，來(lái)測(cè)試自動(dòng)駕駛汽車的反應(yīng)能力，以確定其不會(huì)對(duì)任何人的安全造成威脅。

通過(guò)模擬器，自動(dòng)駕駛行業(yè)的從業(yè)者們可以通過(guò)GPU來(lái)生成傳感器數(shù)據(jù)，然后反哺到Drive PX平臺(tái)上，再進(jìn)行模擬測(cè)試，通過(guò)上百萬(wàn)英里的測(cè)試定制的場(chǎng)景和極端案例，可以提高算法的魯棒性——幫助自動(dòng)駕駛行業(yè)加速研發(fā)進(jìn)程以及減少研發(fā)成本。

根據(jù)專家的說(shuō)法，一個(gè)由100輛汽車組成的車隊(duì)，就算每日24小時(shí)連續(xù)不斷地測(cè)試，跑完110億英里也至少需要500年。

像Waymo這樣的公司之所以能在現(xiàn)實(shí)世界中每天行駛10000英里的測(cè)試?yán)锍?，而在虛擬環(huán)境中每天能夠行駛1000萬(wàn)英里，就是這個(gè)原因的。

盡管Waymo采用的并非英偉達(dá)的仿真測(cè)試系統(tǒng)，但鑒于英偉達(dá)目前有超過(guò)370家汽車行業(yè)合作伙伴，DRIVE Constellation就非常值得期待。

當(dāng)然，所有這些測(cè)試都會(huì)產(chǎn)生大量的數(shù)據(jù)，而這些數(shù)據(jù)目前大多數(shù)公司都沒(méi)有做好準(zhǔn)備。但NVIDIA正在提供解決方案，以幫助在這個(gè)快速成長(zhǎng)的行業(yè)。