以下是摘錄給我們的合作伙伴內(nèi)容計(jì)劃的文章的摘錄，標(biāo)題為“利用自然與養(yǎng)育來構(gòu)建驚人的AI SoC”。它由Synopsys產(chǎn)品營(yíng)銷經(jīng)理Ron Lowman撰寫，最初出現(xiàn)在EETimes上。

依靠傳統(tǒng)的設(shè)計(jì)流程將不會(huì)產(chǎn)生每個(gè)公司都追求的高性能，市場(chǎng)領(lǐng)先的AI解決方案。設(shè)計(jì)人員必須考慮各種各樣的半導(dǎo)體解決方案。一個(gè)Semico公司2018市場(chǎng)報(bào)告中指出，“對(duì)于訓(xùn)練和推理架構(gòu)正在不斷地改進(jìn)，在最佳配置，提供表演權(quán)水平到達(dá)?！?/p>

數(shù)據(jù)中心架構(gòu)包括GPU，FPGA，ASIC，CPU，加速器和高性能計(jì)算（HPC）解決方案，而移動(dòng)市場(chǎng)則是諸如ISP，DSP，多核應(yīng)用處理器，音頻之類的異構(gòu)片上處理解決方案的大雜燴。和傳感器處理子系統(tǒng)。這些異構(gòu)解決方案可通過專有的SDK有效利用，以適應(yīng)AI和深度學(xué)習(xí)功能。此外，基于預(yù)期的自主能力，汽車市場(chǎng)將出現(xiàn)巨大變化。例如，可以預(yù)料，第5級(jí)自治SoC的帶寬和計(jì)算能力比第2級(jí)以上自治SoC支持的性能要高得多。

這些AI設(shè)計(jì)中的三個(gè)始終如一的挑戰(zhàn)包括：

添加專門的處理功能，可以更高效地執(zhí)行必要的數(shù)學(xué)運(yùn)算，例如矩陣乘法和點(diǎn)積

高效的內(nèi)存訪問，用于處理深度學(xué)習(xí)所需的唯一系數(shù)（例如權(quán)重和激活）

可靠的，經(jīng)過驗(yàn)證的實(shí)時(shí)接口，用于芯片到芯片，芯片到云，傳感器數(shù)據(jù)以及加速器到主機(jī)的連接

機(jī)器學(xué)習(xí)算法的最大障礙之一是傳統(tǒng)SoC架構(gòu)的內(nèi)存訪問和處理能力沒有達(dá)到所需的效率。例如，人們批評(píng)流行的馮·諾依曼（von Neumann）架構(gòu)對(duì)AI不夠有效，導(dǎo)致人們爭(zhēng)相開發(fā)更好的機(jī)器（即SoC系統(tǒng)設(shè)計(jì)）。

那些幸運(yùn)地設(shè)計(jì)出第二代和第三代針對(duì)AI的SoC的人已經(jīng)添加了更高效的AI硬件加速器，并且/或者選擇為現(xiàn)有ISP和DSP添加功能以適應(yīng)神經(jīng)網(wǎng)絡(luò)的挑戰(zhàn)。

但是，僅添加高效的矩陣乘法加速器或高帶寬內(nèi)存接口已被證明是有幫助的，但不足以成為AI的市場(chǎng)領(lǐng)導(dǎo)者，從而強(qiáng)化了在特定于AI的系統(tǒng)設(shè)計(jì)期間進(jìn)行特定優(yōu)化的概念。

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)適用于各種各樣的應(yīng)用程序，因此設(shè)計(jì)人員在定義特定硬件實(shí)現(xiàn)目標(biāo)的方式上千差萬別。另外，機(jī)器學(xué)習(xí)數(shù)學(xué)的進(jìn)步正在迅速變化，這使體系結(jié)構(gòu)靈活性成為一個(gè)強(qiáng)烈的要求。對(duì)于垂直整合的公司，他們可以將設(shè)計(jì)范圍縮小到特定目的，增加優(yōu)化程度，但也可以靈活地匹配其他不斷發(fā)展的算法。

最后，如《林利微處理器報(bào)告》（Linley Microprocessor Report）的“AI基準(zhǔn)仍然不成熟”所述，跨AI算法和芯片的基準(zhǔn)測(cè)試仍處于起步階段：

“幾個(gè)流行的基準(zhǔn)測(cè)試程序評(píng)估CPU和圖形性能，但是即使AI工作負(fù)載變得越來越普遍，比較AI性能仍然是一個(gè)挑戰(zhàn)。許多芯片供應(yīng)商僅引用每秒浮點(diǎn)運(yùn)算的峰值執(zhí)行速率，或者對(duì)于僅整數(shù)設(shè)計(jì)而言，每秒引用的峰值執(zhí)行速率。但是，像CPU一樣，由于軟件，內(nèi)存或設(shè)計(jì)中的其他部分存在瓶頸，深度學(xué)習(xí)加速器（DLA）的工作性能通常遠(yuǎn)低于其峰值理論性能。每個(gè)人都同意在運(yùn)行實(shí)際應(yīng)用程序時(shí)應(yīng)該衡量性能，但是他們?cè)谑裁磻?yīng)用程序以及如何運(yùn)行它們上存在分歧?！保?019年1月）

有趣的新基準(zhǔn)開始針對(duì)特定市場(chǎng)。例如，MLPerf目前正在提高培訓(xùn)AI SoC的有效性，并計(jì)劃進(jìn)行擴(kuò)展。盡管這是應(yīng)對(duì)基準(zhǔn)測(cè)試挑戰(zhàn)的一個(gè)很好的開始，但培訓(xùn)AI SoC只是影響系統(tǒng)結(jié)果的許多不同市場(chǎng)，算法，框架和壓縮技術(shù)的一小部分。

另一個(gè)組織AI-Benchmark致力于基準(zhǔn)測(cè)試手機(jī)的AI功能。移動(dòng)電話使用少數(shù)芯片組，其中一些芯片組的早期版本除了傳統(tǒng)處理器外不包含任何AI加速功能，而是實(shí)現(xiàn)了AI專用軟件開發(fā)套件（SDK）。這些基準(zhǔn)表明，利用現(xiàn)有的非AI優(yōu)化處理解決方案無法提供所需的吞吐量。

所選的處理器或處理器陣列通常具有每秒最大的操作額定值或特定處理技術(shù)的特定最高頻率。處理器性能還取決于每個(gè)指令的能力。另一方面，接口IP（PCIe?，MIPI，DDR）和基礎(chǔ)IP（邏輯庫，內(nèi)存編譯器）具有最大的理論內(nèi)存帶寬和數(shù)據(jù)吞吐量級(jí)別，在接口IP的情況下，通常由標(biāo)準(zhǔn)組織定義。

但是，系統(tǒng)的真正性能不是這些部分的總和。它具有將處理器，內(nèi)存接口和數(shù)據(jù)管道正確連接在一起的能力。系統(tǒng)整體性能是每個(gè)集成組件的功能以及如何優(yōu)化這些功能的結(jié)果。

設(shè)計(jì)人員在AI SoC的處理器，SDK，數(shù)學(xué)和其他有助于設(shè)計(jì)的方面取得了飛速發(fā)展的同時(shí)，這些變化使得難以進(jìn)行逐個(gè)比較的能力。
編輯：hfy