作者：ANN STEFFORA MUTSCHLER

音頻和視頻傳感器數(shù)量的激增大大增加了芯片和系統(tǒng)的設計復雜性，迫使工程師做出可能影響性能、功耗和成本的權衡。

總的來說，這些傳感器生成的數(shù)據(jù)如此之多，以至于設計人員必須考慮在哪里處理不同的數(shù)據(jù)、如何對其進行優(yōu)先級排序以及如何針對特定應用對其進行優(yōu)化。權衡包括從始終開啟、始終收聽功能、更長的屏幕開啟時間等所有方面，這些都必須與更長電池壽命的需求相平衡。最重要的是，人們對數(shù)據(jù)安全性的擔憂持續(xù)存在，并且對上下文感知人工智能算法的需求不斷增加。

西門子 EDA電源完整性產(chǎn)品管理高級總監(jiān) Joe Davis 表示，到 2025 年底，估計將有 140 億個智能傳感器連接到互聯(lián)網(wǎng)。“這些只是連接到互聯(lián)網(wǎng)的傳感器，它增長最快，因為它可以獲取數(shù)據(jù)并對其進行處理。這不僅僅是觀察它并拍照。它正在對數(shù)據(jù)進行一些處理?！?/p>

恰當?shù)睦樱核髂嵊幸环N設備可以識別亂穿馬路的人而不會侵犯隱私。“它執(zhí)行動作識別，然后發(fā)出信號，”戴維斯說?！岸乙驗樗械膫鞲泻吞幚矶际窃诒镜赝瓿傻模运粫ㄟ^互聯(lián)網(wǎng)發(fā)送某人的臉，所以它可以保護他們的隱私。在架構方面，該領域的供應商傳統(tǒng)上處于非常成熟的節(jié)點并優(yōu)化了這些技術。許多技術仍然存在，但要獲得現(xiàn)在所需的處理，他們必須將這些傳感器與更先進的技術結合起來?！?/p>

在許多情況下，功率預算極其有限，因為它需要使用一節(jié)或多節(jié)電池運行。Cadence的 Tensilica 音頻/語音 DSP 產(chǎn)品營銷總監(jiān) Prakash Madhvapathy 說：“設備越來越注重電池，因為它們希望使用非常小的電池。 ” “用戶希望看到非常長的電池壽命和全天連續(xù)運行，因此 24/7/365。為了方便用戶，設備需要始終在線。他們還需要聰明地理解用戶在特定時刻的意圖，而不是被明確告知它必須做什么?！?/p>

同時，這些設備需要更多的計算能力，因為它們需要處理更多的數(shù)據(jù)?！斑^去看到的用例現(xiàn)在正在演變成更復雜的用例，最終消費者對設備的期望比以前高得多，”Madhvapathy 說?！斑@是一個積極的反饋循環(huán)，設備本身顯示出更多的功能，這提高了制造商和最終消費者的期望。這推動了設備本身對更多計算能力的需求?！?/p>

Madhvapathy 觀察到這兩個因素似乎相互矛盾。“在一種情況下，你想要永遠在線、長電池壽命。在另一種情況下，您正在尋找更多的計算能力，這將消耗電池壽命。挑戰(zhàn)變成了這兩者如何共存，制造商或原始設備制造商如何才能創(chuàng)造出兩全其美的產(chǎn)品？”

隨著車輛自主性的增加，這一點很明顯，這需要數(shù)百個 TOP（每秒萬億次運算）。產(chǎn)品管理總監(jiān) Amol Borkar 表示：“在這些情況下，對于功率/能源，您需要進行一些權衡，但您不希望使用與低端產(chǎn)品相同的產(chǎn)品?！?Cadence 的 Tensilica 視覺和 AI DSP 營銷?！霸诘湫偷漠a(chǎn)品開發(fā)周期中，您開始細分市場，以確定低、中、高產(chǎn)品的重點產(chǎn)品范圍，或者好、更好、最好的方法。很難擁有一種可以跨越整個范圍的產(chǎn)品。它可以廣泛地跨越一個范圍，但如果你談論的是一種永遠在線的能力，但隨后還必須可重新配置以運行自動駕駛汽車——這通常不會發(fā)生。如果真的發(fā)生了，它將被過度設計，不符合任何細分市場的要求?！?/p>

這適用于音頻或視頻部分。過去離散的東西越來越多地被集成到一個系統(tǒng)或子系統(tǒng)中。

“隨著人工智能的進一步普及，我們開始看到這些產(chǎn)品系列之間出現(xiàn)了很多合并，”Borkar 說?！霸谟肋h在線的空間中，開發(fā)人員說，‘我只想進行音頻處理，例如關鍵字定位和關鍵字檢測?！?例如，現(xiàn)在他們正在為人類存在檢測添加一些視覺處理。更進一步，開發(fā)人員不希望兩個不同的 IP 進行這種類型的多模式處理。他們想要一個既可以進行視覺處理又可以進行音頻處理的 IP，這是低端的。在高端方面，更多的是，‘我有一個系統(tǒng)可以進行這種基于攝像頭的人員檢測，或 ADAS/行人/街道標志檢測，但同時我也在做短程雷達加工。我不想放置一個單獨的處理塊或 IP 塊來做到這一點。我只想要一個塊來進行處理，即使它是多模式的?！?/p>

通信問題

芯片架構師關心的另一個問題是能否為特定應用快速傳輸圖像和視頻。

今天的顯示器具有比過去更高的分辨率，這反過來又需要更高的帶寬。Synopsys移動、汽車和消費類 IP 產(chǎn)品營銷總監(jiān) Hezi Saar 表示，問題在于 PHY 速度跟不上分辨率的提高。隨著 AR/VR 和移動應用的帶寬需求不斷增加，這很明顯，這需要增加 PHY 帶寬。至少目前，該解決方案涉及壓縮標準，例如 VESA DSC 和 VESA VDCM。

“視覺無損壓縮已被引入市場，這將減少對更快 PHY 和更快切換的需求，從而降低功耗，因為您不需要發(fā)送相同的數(shù)據(jù)，”Saar 說。“您可以對其進行壓縮，并且數(shù)據(jù)或多或少地保持在同一個范圍內，因此有效地控制了每比特的功率。這種壓縮方式被 HDMI、DisplayPort 和 MIPI 全面采用，用于移動設備和汽車?！?/p>

對這種方法的最初反對是出于對丟失像素的安全影響的擔憂，或者如果像素在一秒或一毫秒內沒有看到會發(fā)生什么。盡管對此主題有多種意見，但車輛中的屏幕通常不用于駕駛員安全，并且壓縮可以節(jié)省大量資源。

“然后，架構問題變得更簡單，”薩爾說?！皺嗪鈿w結為，‘幀緩沖區(qū)將實現(xiàn)什么？您將在 SoC 內部使用多少內存，而在外部使用多少內存？您需要多少條通信通道？功率預算是多少？所有這些都是由驅動顯示器所需的帶寬量驅動的。”

由于應用程序的廣泛性，A/V 芯片和 IP 必須高度依賴工作負載和特定于應用程序，才能實現(xiàn)最佳系統(tǒng)。這意味著當系統(tǒng)架構師設計這些芯片時，他們必須考慮將要運行的工作負載的種類，并選擇滿足性能和功率配置文件所需的計算塊。

瑞薩電子副總裁兼總經(jīng)理 Rami Sethi 表示：“我們正在解決的最大挑戰(zhàn)僅涉及更高的數(shù)據(jù)速率?！澳銜吹皆絹碓蕉嗟挠嬎隳芰ο蜻吘壱苿?，在那里做盡可能多的事情，而不是將所有東西都轉移到云端。即使在網(wǎng)絡設備內部，我們也看到在需要的地方有更多本地化計算。我們甚至看到越來越多的人談論內存中的計算，只是讓處理盡可能接近數(shù)據(jù)。”

與此同時，這些計算元素正變得更加專業(yè)化?！拔覀冏尳缑孢\行得更快、更有效、更可靠，”Sethi 說?！暗谖磥恚袡C會在其中添加額外的功能。所有數(shù)據(jù)都通過我們的芯片，在 CPU 和內存之間。我們可以通過安全性和潛在的數(shù)據(jù)壓縮算法在數(shù)據(jù)處理方面增加更多價值?！?/p>

其他人同意?！叭绻阆胍ㄓ糜布?，比如 CPU，你可以把所有東西都放在 x86 或 Arm CPU 上，”Madhvapathy 說?！暗粫枪?jié)能的，也不會是計算效率的，因為它們不是為特定類別的工作負載設計的。你永遠不會只為一個工作負載設計任何東西。您為一類或兩類工作負載設計它們，這樣您就不會過于狹隘地關注。但至少對于工作負載而言，DSP 最終在處理方面的效率將大大高于主 CPU，無論是在時間還是在功率方面。這就是為什么過去十年的趨勢是將處理從 CPU 轉移到 DSP 以實現(xiàn)視覺以及音頻和語音的高效處理?！?/p>

同樣的權衡和變通方法也發(fā)生在消費電子領域，需要更高的計算性能和更長的電池壽命。Codasip的高級營銷總監(jiān) Roddy Urquhart 說：“傳統(tǒng)上，工程師要么針對低功耗進行優(yōu)化，要么針對高性能進行優(yōu)化。 ” “為了滿足特定應用程序的要求，少數(shù)幾種前進方式之一是硬件專業(yè)化。25 年前，這個問題可以通過創(chuàng)建 ASIC 來解決。但 ASIC 缺乏靈活性，許多應用程序需要可編程性來處理不同版本的標準，例如編碼，或處理固件更新。”

因此，雖然通用處理器可以處理范圍廣泛的軟件任務，但它的能效卻低得多?！叭绻鼈兣c專門的軟件一起使用，很可能許多處理器功能——以及電路——將被簡單地未使用或未充分利用，”Urquhart 說?！跋啾戎?，如果對軟件工作負載進行分析以識別計算瓶頸，則可以設計專用處理器來解決計算瓶頸，但不包括不必要的功能。這樣的設計在電路方面應該是精簡的，并提供良好的性能?！?/p>

但是，這會產(chǎn)生其他問題。從頭開始創(chuàng)建專用處理器需要一種多學科方法，這超出了許多公司的技能范圍，這也是 RISC-V 開放指令集受到關注的原因之一。它通過為團隊提供一組基本的整數(shù)指令、可選擴展和用于創(chuàng)建自定義指令的規(guī)定來簡化設計?！傲硪粋€簡化是當處理器使用處理器描述語言獲得許可時，”他說?！昂诵拿枋隹梢栽诟邔舆M行修改和調優(yōu)，RTL、驗證環(huán)境和軟件工具鏈可以從高層描述中綜合起來?！?/p>

更多工具即將推出

盡管如此，Siemens EDA 的 Davis 堅持認為，在系統(tǒng)級別上并沒有特別好的工具可用，因為其中很多工具發(fā)展得如此之快。“市場上沒有機會開發(fā)和部署這些模型。早在那個時候，一切都在數(shù)據(jù)手冊中建模并且一切都在線，您可以很早就將您的系統(tǒng)組合在一起并進行所有系統(tǒng)權衡。但是這些功能發(fā)展得如此之快，以至于這些模型不可用。人們通常使用電子表格之類的東西來進行這種分析。那里有一些功能，但是當您深入到 IC 級別時，每個制造商、每個設計公司都必須與他們的代工廠聯(lián)系并與其合作，以了解權衡的環(huán)境。

雖然工具提供商正在開發(fā)工具，但今天需要能夠進行這種分析?！叭藗兊膲粝胧悄軌蜃聛硖岢鲎罴呀鉀Q方案。但與往常一樣，當您向前推進時，您將在今天設計這種芯片架構。他們將在明年設計它，并在一年后進行制造和部署。我正在展望未來三年，”戴維斯說。

為了解決這些問題，答案是越來越多地使用某種類型的高級封裝進行異構集成。這使得在數(shù)字端擁有低泄漏的最先進處理成為可能，并將其與模擬端相結合，從而可以以最有意義的工藝幾何形狀開發(fā)電路。

“很多這些歷史上成熟的節(jié)點公司都在做所有這些傳感器、放大器和降噪——所有這些都需要先進的處理，他們必須引入先進的技術來以低功耗獲得計算資源，”戴維斯說?！艾F(xiàn)在我們談論的是系統(tǒng)級集成，因此 2.5D/3D 堆棧變得更具挑戰(zhàn)性。有一個數(shù)字芯片，以及一個或多個模擬芯片，因為如果我要放入傳感器和無線電，我可能會將三種不同的技術放在一個封裝中。我們看到了很多。我們還看到了硅光子學，尤其是在計算中心。只要您不熔化硅，計算中心就可以了。過去的態(tài)度是，‘我們把它插在墻上。誰在乎？‘ 當他們在建筑物中擁有數(shù)十萬到數(shù)百萬個這樣的核心時，他們現(xiàn)在確實很在意，頂部有大型冷卻塔，因為它會產(chǎn)生大量熱量?！?/p>

使用 die-on-die 或 package-on-package 的架構將更常見以解決其中一些問題?！斑@取決于您所談論的應用程序，”Synopsys 的 Saar 說?！坝袝r房地產(chǎn)很重要，所以你會使用包裝上的包裝。有時延遲非常重要?；蛘哂袝r你想在本地進行這種計算。然后你把 DDR 放在你的芯片上。這樣做可以提高性能、減少延遲并提高功耗。這意味著當您處理視頻數(shù)據(jù)時，它可以更有效地完成。某種 die-to-die 接口將在更復雜的系統(tǒng)中變得更加普遍。汽車 ADAS 是一個候選者。移動是 SoC 方面的候選者。即使在像 IP 攝像機或網(wǎng)絡錄像機這樣的應用程序中，如果你是一家擁有一切的公司——你在云端擁有人工智能引擎，你提供完整的服務、所有的電子設備，而且你還在制造 SoC——那么你可能會做一個 SoC，它可以去網(wǎng)絡攝像機。您還可以使用 die-to-die 技術連接兩個芯片，這樣您就可以進行將所有 IP 攝像機連接在一起的網(wǎng)絡視頻錄制?！?/p>

為了提高高級音頻/視頻系統(tǒng)的效率，需要非常專業(yè)的硬件?！翱纯催@在智能手機和個人電腦中的做法，以提高所有這些設備的電池壽命——無論是音頻、視頻、個人電腦、ADAS 還是任何這些系統(tǒng)——你不能讓你的系統(tǒng)完全運行Movellus技術營銷主管 Aakash Jani 說，始終保持 100% 。“否則，你只會殺死你的系統(tǒng)。這帶來了切換不同功率域的想法，創(chuàng)建截然不同的功率域，無論您是在前一分鐘進行波前分析，還是在那之后的下一秒進行全面推理。您將很快讓您的系統(tǒng)切換到動態(tài)電源。如果沒有，那將轉化為實時延遲?！?/p>

這遠遠超出了音頻/視頻系統(tǒng)?！霸谄胶庑酒显黾拥闹悄軙r，必須平衡電池壽命，”賈尼說?！澳枰鶕?jù)工作負載進行非常精細的電源控制。電源系統(tǒng)和電源管理需要并行處理您可能會看到的不同工作負載，這樣您就不會因為消耗電力而浪費周期?！?/p>

設計人員試圖處理的最大設計限制和問題之一是電壓下降或 IR 下降?！耙驗?a href="http://www.www27dydycom.cn/tags/時鐘/" target="_blank">時鐘與它們所處的任何系統(tǒng)都如此緊密地交織在一起，并且因為它們是一個如此大的功率貢獻者，所以它們與電壓下降有著非常私人的關系，”他解釋道。“由于這些系統(tǒng)正在切換，尤其是高頻系統(tǒng)，對于智能手機、PC，甚至在數(shù)據(jù)中心，功率波動很大。時鐘網(wǎng)絡不僅是其中的一個促成因素，它的設計方式也可能是一種解決方案?！?/p>

結論

大局觀，所有這些低層次的挑戰(zhàn)都必須從長遠的角度出發(fā)，并且設計必須是可擴展的。

“你今天做的不是明天要做的，”Expedera 營銷主管 Paul Karazuba 指出。“從設計的角度來看，大多數(shù)做硬件的公司對一代不感興趣。他們對多代人感興趣，以維持一家成長中的公司。我今天在音頻或視頻領域所做的可能是在 4k 相機上。我可能會在幾代人之后使用 8k 相機。你需要一個可擴展的架構——不僅僅是架構，還有你工作的底層設計語言和軟件生態(tài)系統(tǒng)。您不希望每一代都采用完全不同的架構，因此您需要擁有作為系統(tǒng)工程師、系統(tǒng)架構師、

將 AI 添加到組合中，這不僅在音頻/視頻應用程序中廣泛擴散，而且事情變得更加復雜。

“取決于市場，你必須開始為今天不存在的算法進行設計，這完全違反直覺，”Karazuba 說。“例如，在汽車行業(yè)，如果你今天設計一個芯片，它三年內都不會上市。它必須在市場上銷售 10 年。在那 13 年里，它正在處理的神經(jīng)網(wǎng)絡不會保持不變。因此，對于先進的神經(jīng)網(wǎng)絡、定制的神經(jīng)網(wǎng)絡以及今天不存在的網(wǎng)絡，這些都是系統(tǒng)工程師需要做出的決定，因此他們可以嘗試為不存在的東西進行設計?！?/p>

— Ed Sperling 為本報告做出了貢獻。