人工智能進(jìn)一步推動了對算力的渴求，硬件的世界已經(jīng)發(fā)生了極大的顛覆，不論是數(shù)據(jù)的處理方式還是計(jì)算架構(gòu)的延伸，除了CPU、GPU、DSP、FPGA等，還涌現(xiàn)出各種各樣的AI加速器。除了傳統(tǒng)的芯片提供商，算法提供商、設(shè)備服務(wù)商甚至互聯(lián)網(wǎng)公司等，也都開始規(guī)劃自己的芯片戰(zhàn)略。另一方面，創(chuàng)新速度也在加劇，甚至遠(yuǎn)遠(yuǎn)超出芯片的設(shè)計(jì)速度。

硬件發(fā)展受到了前所未有的挑戰(zhàn)。但與此同時，軟件的重要性也被提到了前所未有的高度。這背后的邏輯是什么？

三大行業(yè)趨勢正在驅(qū)動變革

第一個趨勢是云和端的一體化。以前我們將大的計(jì)算量都放在云端，但隨之而來產(chǎn)生了帶寬傳輸?shù)膯栴}。當(dāng)把運(yùn)算量漸漸移到端側(cè)的時候，又產(chǎn)生了功耗、算力的問題?？赡艿奶幚矸绞绞牵寒?dāng)數(shù)據(jù)量較小的時候放在端側(cè)，隨著數(shù)據(jù)量增大再放到云上，這就使得很多場景下很難界定究竟是云上還是端側(cè)，因此需要從云到端統(tǒng)一的解決方案，來適配不同場景下的計(jì)算需求。

第二個趨勢是AI激增。其前提是數(shù)據(jù)量的激增，以及數(shù)據(jù)形態(tài)的巨大變化。從傳統(tǒng)的文本、圖形數(shù)據(jù)，到現(xiàn)在的視頻、音頻、社交等非結(jié)構(gòu)化數(shù)據(jù)，未來還有包括聯(lián)網(wǎng)汽車數(shù)據(jù)、神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)、基因數(shù)據(jù)等更多形態(tài)的數(shù)據(jù)。當(dāng)數(shù)據(jù)量越來越大之后，如何讓數(shù)據(jù)發(fā)揮真正的價值成為重要的關(guān)注點(diǎn)。

第三個趨勢是異構(gòu)計(jì)算。傳統(tǒng)上應(yīng)對運(yùn)算性能提升的方式包括單核速度的提升，以及單核變多核。但是當(dāng)這兩種方式仍然無法滿足計(jì)算需求的時候，CPU+GPU、CPU+FPGA等組合形式的異構(gòu)計(jì)算概念出現(xiàn)了。異構(gòu)雖然帶來了性能上的提升，但是也給軟件開發(fā)者帶來了各種挑戰(zhàn)。

軟硬件各自為政的時代已過去！

除了上述趨勢，軟硬件本身的特性也在促使二者關(guān)系的轉(zhuǎn)變。硬件按照物理規(guī)律在發(fā)展，相對于軟件，必然存在迭代慢、架構(gòu)復(fù)雜的問題，特別是隨著摩爾定律趨緩，硬件架構(gòu)上的物理增長越來越艱難。相較之下，算法的增長和優(yōu)化則空間很大，一方面能夠提升硬件架構(gòu)的物理性能；另一方面，通過算法的升級能夠帶來算力上的躍進(jìn)。例如蘋果、華為、百度、阿里等公司都推出了內(nèi)置AI算法的芯片，應(yīng)用場景多以云端為主。

在這些趨勢的引領(lǐng)下，軟硬件的關(guān)系產(chǎn)生了新的變化。軟件似乎正變得越來越重要，許多公司甚至選擇軟件為先，硬件再去跟進(jìn)。

當(dāng)所有創(chuàng)新都被按下快進(jìn)鍵的過程中，硬件工程師需要工具幫助他們突破固定硬件的開發(fā)限制，快速面對市場；軟件工程師則需要幫助他們屏蔽硬件復(fù)雜性，讓他們可以在熟悉的開發(fā)環(huán)境中提升效率。

二者誰更重要呢？沒有軟件，芯片無法使用，需要大量的軟件開發(fā)者去將它表達(dá)為用戶真正所需；另一方面，軟件又需要芯片這個實(shí)體去承載，在整個系統(tǒng)中發(fā)揮價值。

誰能幫助硬件和軟件工程師重新坐下來對話，為他們搭建起溝通的橋梁？

巨頭們已經(jīng)嗅到了這樣的趨勢。

10月9日，賽靈思宣布推出開放、標(biāo)準(zhǔn)、免費(fèi)的統(tǒng)一軟件平臺Vitis。這是賽靈思有史以來首次發(fā)布的一款軟硬件統(tǒng)一的平臺，可以說是賽靈思近年來轉(zhuǎn)型中一個重要的成果，根據(jù)官方說明，它可以讓包括軟件工程師和 AI 科學(xué)家在內(nèi)的廣大開發(fā)者都能受益于硬件靈活應(yīng)變的優(yōu)勢。Vitis統(tǒng)一軟件平臺支持賽靈思異構(gòu)平臺（包括FPGA、SoC和Versal ACAP）上開發(fā)嵌入式軟件和加速應(yīng)用，為邊緣、云和混合計(jì)算應(yīng)用加速提供統(tǒng)一編程模型。它可以與高層次框架進(jìn)行集成，通過加速庫采用C、C++或Python進(jìn)行開發(fā)，也可以使用基于RTL的加速器和低層次運(yùn)行時API對實(shí)現(xiàn)方案進(jìn)行粒度更為精確的控制。

四層堆棧，打通從硬件到應(yīng)用的道路！

Vitis 平臺構(gòu)建在基于堆棧的架構(gòu)之上，該架構(gòu)可以無縫插入到開源的標(biāo)準(zhǔn)開發(fā)系統(tǒng)與構(gòu)建環(huán)境，并且包含一套豐富的標(biāo)準(zhǔn)庫。

基礎(chǔ)層是 Vitis 目標(biāo)平臺，該平臺由電路板和預(yù)編程 I/O構(gòu)成。

第二層稱為 Vitis 核心開發(fā)套件，覆蓋開源賽靈思運(yùn)行時庫，以管理不同域間的數(shù)據(jù)移動，包括子系統(tǒng)、即將發(fā)布的 Versal ACAP內(nèi)的AI引擎和必要的外部主機(jī)。此外，該層也提供編譯器、分析器和調(diào)試器等核心開發(fā)工具，這些工具設(shè)計(jì)的目的是能與業(yè)界標(biāo)準(zhǔn)的構(gòu)建系統(tǒng)與開發(fā)環(huán)境無縫集成。

在第三層，8個Vitis 庫提供 400 余種優(yōu)化的開源應(yīng)用。這8個庫分別是：Vitis 基本線性代數(shù)子程序（BLAS）庫、Vitis 求解器庫、Vitis 安全庫、Vitis 視覺庫、Vitis 數(shù)據(jù)壓縮庫、Vitis 計(jì)量金融庫、Vitis 數(shù)據(jù)庫集和 Vitis AI 庫。借助這些庫，軟件開發(fā)者可以使用標(biāo)準(zhǔn)的應(yīng)用編程接口（API）來實(shí)現(xiàn)硬件加速。

Vitis 平臺的第四層，也是最具有變革意義的一層是 Vitis AI。它集成了特定領(lǐng)域架構(gòu)（DSA），提供了針對AI模型的硬件實(shí)現(xiàn)，開發(fā)者可以使用包括TensorFlow和Caffe等框架進(jìn)行配置與編程。Vitis AI 提供的工具鏈能在數(shù)分鐘內(nèi)完成優(yōu)化、量化和編譯操作，在賽靈思器件上運(yùn)行預(yù)先訓(xùn)練好的AI模型。此外，它也為從邊緣到云端的部署提供了專用 API，實(shí)現(xiàn)更好的推斷性能與效率。賽靈思很快還將推出另一個 DSA（Vitis Video），支持從 FFmpeg 直接進(jìn)行編碼并提供同樣超級簡單且功能極強(qiáng)大的端到端視頻解決方案。由合作伙伴公司提供的 DSA 包括：與 GATK 集成用于基因分析的Illumina，與ElasticSearch 集成用于大數(shù)據(jù)分析的BlackLynx，以及當(dāng)前客戶正在使用的專有DSA。

如何打破軟硬件壁壘，提升創(chuàng)新效率？

賽靈思軟件和人工智能高級經(jīng)理羅霖，以智慧城市為例說明了如何通過統(tǒng)一軟件平臺Vitis，來幫助開發(fā)人員進(jìn)行效率提升。

智慧城市一個典型的應(yīng)用場景就是在道路上實(shí)時統(tǒng)計(jì)交通流量，包括汽車流量、人流量等，通過大量攝像頭實(shí)時捕捉，在前端進(jìn)行特征提取，再傳給服務(wù)器或云端，進(jìn)行更高層次的信息提取和分析。

這個典型案例中，攝像頭和邊緣端服務(wù)器端都可以部署賽靈思的器件，硬件開發(fā)人員完成IP開發(fā)后，再由嵌入式開發(fā)人員進(jìn)行一定程度的修改，基于Shell和Runtime，由應(yīng)用開發(fā)人員使用經(jīng)過優(yōu)化的庫（包括CNN加速庫、數(shù)據(jù)分析和加速庫）完成應(yīng)用開發(fā)。

對于算法開發(fā)人員，他們通過TensorFlow等進(jìn)行模型訓(xùn)練之后，可以得到一個浮點(diǎn)的Model。接下來的開發(fā)流程中，他們就可以使用Vitis AI開發(fā)工具。基于模型進(jìn)行第一步優(yōu)化，第二步完成模型的量化即定點(diǎn)，第三步定點(diǎn)好之后進(jìn)行編譯，生成基于底層DPU的機(jī)器代碼。最終，在板上進(jìn)行部署后分析性能，包括運(yùn)算效率等。如果覺得性能已達(dá)到目標(biāo)，就可以編譯成庫，應(yīng)用代碼可以直接調(diào)用編譯好的庫，進(jìn)行網(wǎng)絡(luò)推斷。整個過程中，他們不需要關(guān)注底層的RTL、驅(qū)動程序或是數(shù)據(jù)的搬運(yùn)，所有的工作都是基于模型，由工具去生成在目標(biāo)硬件上運(yùn)行的機(jī)器代碼。

如何快速通過Vitis達(dá)到用戶所需的目標(biāo)性能？羅霖表示，第一，軟件開發(fā)人員可以把算法，包括前后處理都在CPU上完成，這部分不需要底層硬件開發(fā)人員的幫助，用Vitis可以達(dá)到每秒6幀的性能；第二，把DPU放在Shell里，用算法在其中做加速，性能可以從每秒6幀提升到每秒30幀；第三，為了提升端到端的性能，比如預(yù)處理是設(shè)計(jì)空間的轉(zhuǎn)換或者是視頻縮放，這部分可以用Vitis庫提供前處理的優(yōu)化，從30FPS提升到40FPS甚至再提升到80FPS。

整個項(xiàng)目中用到了瀏覽器、編譯器還有分析器，按照時間線來看，內(nèi)核占用情況、數(shù)據(jù)從編寫到搬運(yùn)占用時間、中斷是否合適……所有這些底層運(yùn)行的細(xì)節(jié)，軟件工程師一目了然，從而可以判定系統(tǒng)的運(yùn)行狀況，以及瓶頸問題等。而傳統(tǒng)上，還需要在工具中專門插入芯片間隙或數(shù)據(jù)監(jiān)測器才能夠?qū)崿F(xiàn)。

屏蔽硬件復(fù)雜性——當(dāng)前軟件的重要價值

通過開放、通用的軟件來屏蔽硬件復(fù)雜性，使軟件人員在他們熟悉的開發(fā)環(huán)境中專注于創(chuàng)新，而無需關(guān)注底層硬件平臺的細(xì)節(jié)——成為消除當(dāng)前軟硬件壁壘的主要手段。

今年8月，Intel對其即將于年底發(fā)布的oneAPI開發(fā)者測試版本進(jìn)行了劇透。OneAPI整合了計(jì)算和架構(gòu)創(chuàng)新，通過高速互連以及新的軟件開發(fā)模式，希望為開發(fā)者簡化API。Intel希望將硬件能力抽象出來，把最重要的算法融于oneAPI，使開發(fā)者不再需要針對硬件做開發(fā)，更容易發(fā)揮出硬件的所有潛力。Intel的軟件策略似乎更強(qiáng)調(diào)圍繞架構(gòu)所進(jìn)行的擴(kuò)展，橫跨PC、網(wǎng)絡(luò)和數(shù)據(jù)中心，目標(biāo)包括易用性、開放性以及統(tǒng)一的開發(fā)體驗(yàn)。

再看英偉達(dá)建立在GPU基礎(chǔ)上的通用計(jì)算開發(fā)平臺CUDA，由于在性能、成本和開發(fā)時間上較傳統(tǒng)的CPU解決方案有顯著優(yōu)勢，當(dāng)時一經(jīng)推出就頗受市場歡迎。近年來，英偉達(dá)為了推進(jìn)GPU的易用性，仍持續(xù)從軟件層面幫助開發(fā)者在更多垂直領(lǐng)域的GPU平臺上部署應(yīng)用程序。

賽靈思大中華區(qū)銷售副總裁唐曉蕾表示，提供靈活豐富的硬件選擇給軟件工程師，通過高層的API去調(diào)用下層資源，這個理念是一致的，只是不同廠商有不同的實(shí)現(xiàn)手段。賽靈思強(qiáng)調(diào)軟件定義硬件，硬件必須是可適應(yīng)的、靈活的。

她以自動駕駛多樣化的應(yīng)用場景為例談到，攝像頭、環(huán)視、泊車等可能由不同的公司來實(shí)現(xiàn)，應(yīng)用場景包括高速公路、市區(qū)、港口、碼頭等等。如果專門為某一個應(yīng)用設(shè)計(jì)一款芯片是不可能的，客戶需要的是——靈活的、擴(kuò)展性較強(qiáng)的平臺，可以根據(jù)應(yīng)用和工作負(fù)載來優(yōu)化系統(tǒng)，這是賽靈思推出Vitis的主要原因。此外，推出開放、標(biāo)準(zhǔn)、免費(fèi)的Vitis，也便于拓展用戶群，讓更多的軟件工程師體驗(yàn)賽靈思的的自適應(yīng)硬件平臺。

未來軟硬件的關(guān)系走向？

使用標(biāo)準(zhǔn)的環(huán)境與API、擁抱開源、軟硬件協(xié)同作戰(zhàn)——是未來軟硬件關(guān)系的三大方向。

由于開源社區(qū)在生態(tài)系統(tǒng)和開發(fā)者社區(qū)創(chuàng)新中越來越重要，巨頭們都希望以更積極的態(tài)度介入這場大變革之中。

值得一提的是，在開放性方面，賽靈思一個很大的創(chuàng)新還在于：賽靈思完全將集成的開發(fā)環(huán)境免費(fèi)提供給用戶，讓他們將Vitis無縫集成在自己的開發(fā)環(huán)境中。這與過去用戶自己設(shè)計(jì)開發(fā)環(huán)境，背后調(diào)用賽靈思的編譯器和調(diào)試工具有很大的不同，更有利于軟件開發(fā)人員在自適應(yīng)的開發(fā)平臺上釋放創(chuàng)新力。其開發(fā)者網(wǎng)站developer.xilinx.com，將作為連接Vitis開發(fā)者社區(qū)的空間，由賽靈思、Vitis專家及愛好者共同管理，分享更新、設(shè)計(jì)技巧等信息。

正如唐曉蕾所說，如果以搭建樂高來比喻未來的系統(tǒng)設(shè)計(jì)的話，那么硬件更像是一個個的樂高塊，軟件就像是搭建規(guī)則或是創(chuàng)意。樂高塊也許會有相同，但不同的搭建方式可以實(shí)現(xiàn)創(chuàng)意紛呈，賽靈思希望把樂高塊越做越豐富，給工程師更多的選擇，幫助他們更容易實(shí)現(xiàn)更多的功能創(chuàng)新，靈活應(yīng)對不斷變化的市場需求。