全球大流行催化了視頻會議的繁榮，隨著公司采用混合工作模式并尋求更可持續(xù)的業(yè)務溝通方法，減少差旅，視頻會議的繁榮繼續(xù)增長。現(xiàn)在，隨著視頻會議成為現(xiàn)代商業(yè)實踐的基石，系統(tǒng)開發(fā)人員的任務是改善用戶體驗，同時提供更高水平的功能和性能。除了標準網(wǎng)絡攝像頭之外，對創(chuàng)新商業(yè)通信解決方案的需求推動了對 360° 視頻會議攝像頭等技術的需求，這些技術可以創(chuàng)造身臨其境的混合會議體驗。

最新的 360° 攝像頭提供會議室的全景視圖，捕捉所有現(xiàn)場與會者。觀眾還可以在房間內(nèi)進行數(shù)字平移、傾斜和縮放，就像他們真的在場一樣。這為遠程參與者提供了身臨其境的體驗，通過創(chuàng)建有機的面對面交互來促進自然協(xié)作。

利用 AI 的強大功能，開發(fā)人員可以創(chuàng)建具有增強功能和最低硬件要求的下一代視頻會議系統(tǒng)。讓我們探索一種這樣的創(chuàng)新視頻會議實現(xiàn)方案，其中四個 4K 攝像頭連接到一個高性能 AI 視覺處理器。這創(chuàng)建了一個系統(tǒng)，該系統(tǒng)提供寬廣的 360° 全景視圖，以及單個會議參與者的視圖，以及參與者跟蹤和自動拼接等功能。此外，這些全景視圖可以與高分辨率的 360° 去畸變技術相結合，以提供整個房間的更清晰、不失真的視圖。

這款下一代系統(tǒng)的核心是 Ambarella 片上系統(tǒng) （SoC） 內(nèi)部的 CVflow? 高級 AI 引擎，該引擎專為高效率、高性能和低延遲應用而設計。只需一個芯片，CVflow 引擎就使開發(fā)人員能夠實現(xiàn)一套 AI 驅動的功能，這些功能可以在多個感興趣的區(qū)域同時運行，包括：

• 人臉識別 （Face ID）： 支持跨不同攝像頭對多個參與者進行自動取景、跟蹤和重新識別
• 背景去除： 提供干凈、專業(yè)的視頻源
• 手勢檢測和分類： 使演示者能夠通過簡單的手勢控制攝像機
• 白板內(nèi)容提?。?/strong> 通過識別白板內(nèi)容來增強協(xié)作;優(yōu)化其外觀并提高其可讀性
• Vivid HDR（AI 輔助色調(diào)映射）： 通過使用 AI 為同一房間內(nèi)處于截然相反的照明條件下的參與者提供更寬的動態(tài)范圍（例如，一個靠近窗戶，另一個位于光線不足的角落），從而在傳統(tǒng)處理的基礎上提高圖像質(zhì)量

除了與視覺相關的功能外，我們 SoC 中的 CVflow AI 引擎還支持 AI 音頻功能的實現(xiàn)，例如：

• Voice ID： 結合 Face ID 識別并定位個人語音;消除非目標聲部以獲得更清晰的音頻
• 基于 AI 的噪聲分類和抑制： 實時識別不需要的聲音（例如咳嗽、吠叫或割草機）并抑制它們，消除分散注意力的噪音

除了這些 AI 功能之外，利用 Ambarella CVflow SoC 的實現(xiàn)還提供了幾個關鍵的技術優(yōu)勢：

• 為多相機和單相機解決方案提供業(yè)界領先的圖像信號處理性能
• 8K 視頻編碼，支持高分辨率的多個感興趣區(qū)域 - 放大距離攝像頭較遠的參加者，而不會降低視頻質(zhì)量
• 動態(tài)拼接，可在組合來自多個攝像頭的圖像時最大限度地減少偽影
• 從攝像頭到顯示器的超低延遲 （80 毫秒） - 遠低于 Microsoft Teams 規(guī)范

上述示例中的全面功能和技術優(yōu)勢顯著增強了視頻會議體驗，與以前基于 FPGA 的系統(tǒng)相比，這帶來了更具成本效益和能效的解決方案。此外，利用帶有集成 CVflow AI 引擎的單個 SoC 以及 Ambarella 的工具，提供了一個強大的開發(fā)環(huán)境，能夠支持各種算法，并在不影響功能或性能的情況下提供更高程度的設計靈活性和簡單性。

展望未來，將 AI 集成到視頻會議系統(tǒng)中將需要更強大、更高效的處理器，這些處理器既能夠支持豐富的基于 AI 的功能，又能提供卓越的圖像質(zhì)量。通過利用 AI 的強大功能，我們不僅增強了視頻通話，還重新構想了混合工作和遠程通信的本質(zhì)。