一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

MIPI在下一代邊緣AI物聯(lián)網(wǎng)設(shè)備中有何應(yīng)用?

ruikundianzi ? 來源:IP與SoC設(shè)計 ? 2023-11-09 10:29 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

數(shù)據(jù)處理的歷史始于 20 世紀(jì) 60 年代,當(dāng)時的集中式現(xiàn)場大型機(jī)后來演變?yōu)榉植际娇蛻舳朔?wù)器。在本世紀(jì)初,集中式云計算變得有吸引力,并開始獲得發(fā)展勢頭,成為當(dāng)今最流行的計算工具之一。

然而,近年來,我們看到對邊緣或更接近數(shù)據(jù)源的處理的需求再次增加。讓我們開始 ,“走向未來 !”

云處理的最初好處之一就是能夠超越現(xiàn)場處理的有限能力。隨著人工智能的進(jìn)步,越來越多的決策可以在邊緣做出?,F(xiàn)在很明顯,邊緣和云處理是互補的技術(shù);它們對于實現(xiàn)最佳系統(tǒng)性能都是必不可少的。

互聯(lián)系統(tǒng)的設(shè)計者必須問,云和邊緣之間最有效的系統(tǒng)劃分是什么?

云計算與邊緣計算的優(yōu)勢

要了解對系統(tǒng)進(jìn)行分區(qū)的最佳方法,我們必須首先了解每種方法的優(yōu)點。對于邊緣計算來說,最大的好處就是低延遲。當(dāng)必須實時或近實時做出決策時,Edge 確實大放異彩。這種實時決策的能力還提供了其他附帶好處。借助人工智能,設(shè)備可以通過減少錯誤通知來提高能效。

在邊緣進(jìn)行處理還可以減少由于傳輸原始數(shù)據(jù)到其他地方進(jìn)行處理而導(dǎo)致安全漏洞的可能性。在連接成本較高或連接有限的情況下,邊緣處理可能是唯一可行或?qū)嵱玫倪x擇。

當(dāng)談到云計算的好處時,實際上取決于性能。云處理提供了無法在邊緣復(fù)制的海量計算能力。這對于復(fù)雜的機(jī)器學(xué)習(xí)和建模至關(guān)重要。云還提供大存儲容量,并提供以增量成本擴(kuò)展存儲和計算資源的能力。一旦數(shù)據(jù)進(jìn)入數(shù)據(jù)中心,云就可以提供高安全性。

此外,由于云服務(wù)器的集中化,維護(hù)通常更容易。

e664ba1a-7ea3-11ee-939d-92fbcf53809c.png

Table 1: Edge vs. Cloud Computing

系統(tǒng)設(shè)計示例

現(xiàn)在我們已經(jīng)檢查了權(quán)衡,我們可以看一些可以同時使用云和邊緣處理的系統(tǒng)設(shè)計示例。

智能家居安全系統(tǒng)是一個著名的例子,因為數(shù)據(jù)處理存在自然的分段。一些任務(wù),例如面部識別、語音識別、忽略錯誤警報的運動檢測、檢測相關(guān)音頻輸入(例如用戶命令、玻璃破碎或警報)的能力,最好在邊緣完成。云仍然可以用于長期保留和機(jī)器學(xué)習(xí)。

e69260aa-7ea3-11ee-939d-92fbcf53809c.png

Figure 2: Smart home system

另一個例子是可穿戴智能設(shè)備??纱┐髟O(shè)備將利用邊緣處理來監(jiān)控環(huán)境并通過小型內(nèi)置傳感器識別相關(guān)物體、人和聲音。可穿戴設(shè)備還將通過移動設(shè)備連接到云和互聯(lián)網(wǎng),使其能夠訪問龐大的數(shù)據(jù)庫,其中包括聯(lián)系人、圖像、全球地圖和百科全書。

e6b255f4-7ea3-11ee-939d-92fbcf53809c.png

Figure 3: Wearables system

上述兩個例子同樣受益于云計算和邊緣計算。云用于匿名數(shù)據(jù)聚合和優(yōu)化以及長期存儲。通過設(shè)備作出更好 的本地決策,您可以延長電池壽命、降低帶寬要求并提高安全性。與許多物聯(lián)網(wǎng)設(shè)備一樣,這兩個系統(tǒng)示例都需要跨多個設(shè)備(例如傳感器、攝像頭、顯示器和麥克風(fēng))收集和集成數(shù)據(jù)。要在邊緣實時處理所有這些數(shù)據(jù),您需要一個能夠以極低功耗處理支持人工智能和機(jī)器學(xué)習(xí)的多個感官輸入的處理器。Perceive 通過其 Ergo AI 處理器做到了這一點,該處理器專為物聯(lián)網(wǎng)和邊緣設(shè)備而設(shè)計。

Perceive Ergo 人工智能處理器

Perceive Ergo 芯片是一款推理處理器,專為滿足功耗受限的物聯(lián)網(wǎng)和邊緣設(shè)備的需求而設(shè)計。它可以以 55 TOPS/W 的速度提供 4 個持續(xù)的 GPU 等效浮點 TOPS。憑借這種功率,Ergo 處理器可以使用低至 20 mW 的功耗處理大型神經(jīng)網(wǎng)絡(luò),并支持各種高級神經(jīng)網(wǎng)絡(luò),所有這些都具有本地處理功能。Perceive Ergo 芯片支持機(jī)器學(xué)習(xí)應(yīng)用,例如視頻對象檢測、音頻事件檢測、語音識別、視頻分割、姿勢分析以及其他可創(chuàng)造更好用戶體驗的功能。Perceive 客戶使用 Ergo 處理器的一些目標(biāo)應(yīng)用包括前面提到的智能家居安全系統(tǒng)和可穿戴設(shè)備示例,以及視頻會議和便攜式計算。

當(dāng)系統(tǒng)設(shè)計人員尋找邊緣處理器時,處理器與系統(tǒng)其他組件兼容非常重要。邊緣處理需要系統(tǒng)中的攝像頭、揚聲器、麥克風(fēng)和其他傳感器陣列與邊緣處理器之間有一個接口。這意味著 Perceive 需要一套與系統(tǒng)其他組件兼容并無縫融入客戶設(shè)計的接口規(guī)范。

e6e8c0d0-7ea3-11ee-939d-92fbcf53809c.png

Figure 4: Ergo within a system. Image Perceive. Used with permission. All rights reserved.

要了解如何將 Ergo 集成到邊緣設(shè)備中,讓我們看一下框圖。

e70c539c-7ea3-11ee-939d-92fbcf53809c.png

Figure 5: Ergo processor blockdiagram. Image Perceive. Used with permission. All rights reserved.

內(nèi)置成像接口部分包括 2 個 MIPI CSI-2 和 2 個 CPI 輸入以及 1 個 MIPI CSI-2 輸出。這支持兩個同步圖像處理管道:一個使用兩個 MIPI D-PHYSM CSI-2 RX 實例的高性能 4K,另一個使用一個實例的標(biāo)準(zhǔn) HD。還包括通過 MIPI D-PHY CSI-2 TX 將視頻傳輸出去的功能,這在許多應(yīng)用中都很有用,例如安全性,其中警報可以伴隨相應(yīng)的音頻和視頻。該子塊下方是音頻接口,支持麥克風(fēng)輸入和揚聲器輸出。

右邊是CPU系統(tǒng),主要功能是芯片管理、數(shù)據(jù)流轉(zhuǎn)以及與主處理器的通信。一些音頻預(yù)處理由 CPU 子系統(tǒng)處理,例如時間到頻譜的轉(zhuǎn)換。DSP 引擎進(jìn)行音頻預(yù)處理或后處理,例如 FFT。

在頂部中心,圖像處理單元處理來自相機(jī)的原始圖像,使用縮放、裁剪和色彩空間轉(zhuǎn)換等功能,使神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)更容易使用它們。

Ergo 處理器的大腦是右上角的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。這是分割、識別、推理和其他功能發(fā)生的地方。Ergo 芯片支持多個神經(jīng)網(wǎng)絡(luò)集群,使其能夠同時運行多個神經(jīng)網(wǎng)絡(luò)并支持多種輸入數(shù)據(jù)類型(例如同時視頻和音頻),從而能夠產(chǎn)生更高質(zhì)量的推理。例如,與單獨的任何一個輸入相比,伴隨著玻璃破碎聲音的運動檢測可能會在安全應(yīng)用中觸發(fā)更值得信賴的響應(yīng)。神經(jīng)網(wǎng)絡(luò)集群及其 SRAM 占據(jù)了芯片面積的三分之二以上。

MIPI 支持邊緣設(shè)備

就 Ergo 芯片而言,我們看到了幾個用于接收和傳輸視頻的 MIPI D-PHY 和 MIPI CSI-2 實例。雖然 MIPI 規(guī)范最初是為移動應(yīng)用程序設(shè)計的,但后來已在物聯(lián)網(wǎng)邊緣設(shè)備等移動鄰近應(yīng)用程序中廣泛實施。由于大多數(shù)邊緣應(yīng)用都是電池供電,因此電源效率是重中之重。就像家庭安全和可穿戴系統(tǒng)一樣,許多物聯(lián)網(wǎng)設(shè)備需要使用具有高帶寬、突發(fā)和不對稱通信要求的攝像頭、顯示器和傳感器。

因此,MIPI 規(guī)范非常適合物聯(lián)網(wǎng)應(yīng)用。這些規(guī)范旨在與從調(diào)制解調(diào)器、天線和系統(tǒng)處理器到相機(jī)、顯示器、傳感器和其他外圍設(shè)備的各種組件連接。MIPI 規(guī)范從頭開始設(shè)計,旨在最大限度地降低功耗,同時支持高帶寬和嚴(yán)格的 EMI 要求。簡而言之,如果系統(tǒng)需要使用傳感器、執(zhí)行器、顯示器、攝像頭、高級音頻或無線通信接口,那么它很可能受益于 MIPI 規(guī)范的使用。

Perceive Ergo 處理器是一個很好的例子,展示了如何利用 MIPI 規(guī)范的優(yōu)勢進(jìn)行邊緣處理器設(shè)計。Perceive 選擇使用 MIPI D-PHY 和 MIPI CSI-2 規(guī)范,不僅是因為它們提供的電源效率和低 EMI,還因為它是業(yè)界此類應(yīng)用最廣泛采用的規(guī)范, 支持它的廣泛的生態(tài)系統(tǒng)。

Mixel MIPI D-PHY

Mixel 提供了 Perceive MIPI D-PHY CSI-2 TX 和 Mixel MIPI D-PHY CSI-2 RX IP。這兩個 IP 在移植到 22FDX 之前都經(jīng)過了 FDSOI 工藝的硅驗證。Perceive 選擇采用 FDSOI 工藝,因為與成本更高的 FinFET 工藝相比,它提供了低功耗和低成本的正確組合,以實現(xiàn)高性能。此外,由于襯底偏執(zhí)電壓的可編程性,F(xiàn)DSOI 還提供了更大的靈活性,從而實現(xiàn)更高的性能并可能減少功耗和面積。

這些優(yōu)點使 FDSOI 成為最廣泛采用的物聯(lián)網(wǎng)設(shè)備之一。在接收器方面,Mixel 提供了 CSI-2 D-PHY 的 2 種不同區(qū)域優(yōu)化的 RX 配置:2 通道和 4 通道版本。它們都支持 MIPI D-PHY v2.1,向后兼容 v1.2 和 v1.1。兩種配置均以高達(dá) 2.5Gbps/通道的速度運行,并支持以高達(dá) 80Mbps/通道的速度運行的低功耗模式。

對于發(fā)射器端,Mixel 為 Perceive 提供了面積優(yōu)化的 4 通道 CSI-2 TX D-PHY。該IP還支持MIPI D-PHY v2.1,并具有以2.5Gbps/通道運行的高速傳輸模式。該發(fā)射機(jī)用于支持隧道功能。在下圖中,您可以看到以 1.5Gbps/通道和 2.5Gbps/通道運行的 TX IP 的眼圖。Perceive 憑借 Mixel IP 首次取得成功,現(xiàn)已投入生產(chǎn)。

e7421892-7ea3-11ee-939d-92fbcf53809c.png

Figure 6: Mixel D-PHY TX eye diagram at 1.5Gbps/lane

e7872bc6-7ea3-11ee-939d-92fbcf53809c.png

Figure 7: Mixel D-PHY TX eye diagram at 2.5Gbps/lane

結(jié)論

如今的物聯(lián)網(wǎng)連接系統(tǒng)需要在云和邊緣處理之間取得平衡,以優(yōu)化系統(tǒng)性能。您根本無法擊敗云數(shù)據(jù)中心的處理能力,但對于需要實時決策的應(yīng)用程序,邊緣可提供最低的延遲。為了支持邊緣設(shè)備,您需要一個能夠進(jìn)行機(jī)器學(xué)習(xí)的處理器。Perceive Ergo AI 處理器支持邊緣推理處理,使物聯(lián)網(wǎng)設(shè)備更加智能、降低延遲并提高電池壽命和安全性。邊緣處理器設(shè)計還需要一個與各種物聯(lián)網(wǎng)外圍設(shè)備兼容的接口。

MIPI CSI-2 是低功耗傳感器和攝像頭的事實上的標(biāo)準(zhǔn),鑒于 MIPI 規(guī)范是為低功耗、高帶寬應(yīng)用而設(shè)計的,它們非常適合物聯(lián)網(wǎng) AI 設(shè)備的邊緣處理。通過利用 Mixel 的經(jīng)過硅驗證的差異化 MIPI CSI-2 支持的 MIPI D-PHY,Perceive 能夠降低風(fēng)險、縮短上市時間,并為客戶提供高能效、極具競爭力的解決方案,以應(yīng)對不斷擴(kuò)展的市場需求。競爭激烈的人工智能邊緣處理市場。








審核編輯:劉清

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 物聯(lián)網(wǎng)
    +關(guān)注

    關(guān)注

    2930

    文章

    46230

    瀏覽量

    392281
  • 數(shù)據(jù)處理
    +關(guān)注

    關(guān)注

    0

    文章

    627

    瀏覽量

    29171
  • MIPI
    +關(guān)注

    關(guān)注

    11

    文章

    331

    瀏覽量

    49775
  • 邊緣計算
    +關(guān)注

    關(guān)注

    22

    文章

    3325

    瀏覽量

    50899

原文標(biāo)題:MIPI 在下一代邊緣 AI 物聯(lián)網(wǎng)設(shè)備中的應(yīng)用

文章出處:【微信號:IP與SoC設(shè)計,微信公眾號:IP與SoC設(shè)計】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    晶振在AI眼鏡中有哪些作用

    近日,小米發(fā)布“面向下一代的個人智能設(shè)備”——小米AI眼鏡,并在“人車家全生態(tài)發(fā)布會”中提出其全場景戰(zhàn)略布局,開啟AI與硬件深度融合的新紀(jì)元。
    的頭像 發(fā)表于 07-15 16:38 ?196次閱讀

    下一代高速芯片晶體管解制造問題解決了!

    ,10埃)開始直使用到A7。 從這些外壁叉片晶體管的量產(chǎn)中獲得的知識可能有助于下一代互補場效應(yīng)晶體管(CFET)的生產(chǎn)。 目前,領(lǐng)先的芯片制造商——英特爾、臺積電和三星——正在利用其 18A、N2
    發(fā)表于 06-20 10:40

    下一代PX5 RTOS具有哪些優(yōu)勢

    許多古老的RTOS設(shè)計至今仍在使用,包括Zephyr(1980年)、Nucleus(1990年)和FreeRTOS(2003年)。所有這些舊設(shè)計都有專有的API,通常更大、更慢,并且缺乏下一代RTOS的必要安全認(rèn)證和功能。
    的頭像 發(fā)表于 06-19 15:06 ?432次閱讀

    聯(lián)網(wǎng)工程師為什么要學(xué)Linux?

    聯(lián)網(wǎng)工程師需要掌握Linux的主要原因可以從技術(shù)生態(tài)、開發(fā)需求、行業(yè)應(yīng)用及就業(yè)競爭力四個角度來分析: 、技術(shù)生態(tài)與行業(yè)適配性 1)嵌入式開發(fā)的主流平臺
    發(fā)表于 05-26 10:32

    邊緣 AI聯(lián)網(wǎng)實施新標(biāo)桿

    AI聯(lián)網(wǎng)系統(tǒng)的融合改變了數(shù)據(jù)的處理、分析與使用方式。多年以來,各種 AI 解決方案始終基于云端部署,而如今邊緣
    的頭像 發(fā)表于 05-20 10:09 ?565次閱讀
    <b class='flag-5'>邊緣</b> <b class='flag-5'>AI</b>:<b class='flag-5'>物</b><b class='flag-5'>聯(lián)網(wǎng)</b>實施新標(biāo)桿

    迅通科技推出PTR54H20:超低功耗藍(lán)牙6.0模塊

    迅通科技正式發(fā)布全新一代藍(lán)牙多協(xié)議聯(lián)網(wǎng)模塊——PTR54H20。該模塊集超低功耗、高性能計算與先進(jìn)安全特性于體,專為AI
    的頭像 發(fā)表于 04-08 14:47 ?395次閱讀
    迅通科技推出PTR54H20:超低功耗藍(lán)牙6.0模塊

    Nordic nRF54 系列芯片:開啟 AI聯(lián)網(wǎng)新時代?

    ,在保證性能的同時實現(xiàn)了成本的有效控制。? Nordic nRF54 系列芯片憑借其在 AI 機(jī)器學(xué)習(xí)和聯(lián)網(wǎng)領(lǐng)域的卓越表現(xiàn),正引領(lǐng)著行業(yè)的發(fā)展潮流。無論是追求高性能的智能設(shè)備,還是注
    發(fā)表于 04-01 00:18

    MediaTek發(fā)布全新高性能邊緣AI聯(lián)網(wǎng)芯片

    在國際嵌入式展(EMBEDDED WORLD)上, MediaTek 發(fā)布高性能邊緣 AI 聯(lián)網(wǎng)芯片 Genio 720 和 Genio 520。作為 Genio 智能
    的頭像 發(fā)表于 03-12 16:21 ?517次閱讀

    AI賦能邊緣網(wǎng)關(guān):開啟智能時代的新藍(lán)海

    ,準(zhǔn)確率達(dá)到99.9%。 這技術(shù)革新正在創(chuàng)造巨大的商業(yè)價值。在智慧城市領(lǐng)域,AI邊緣網(wǎng)關(guān)可以實現(xiàn)交通流量實時分析、違章行為智能識別;在工業(yè)互聯(lián)網(wǎng)中,能夠?qū)崿F(xiàn)
    發(fā)表于 02-15 11:41

    聯(lián)網(wǎng)邊緣計算網(wǎng)關(guān)的特點

    計算網(wǎng)關(guān)的特點。 、強大的數(shù)據(jù)處理能力 聯(lián)網(wǎng)邊緣計算網(wǎng)關(guān)配備了高性能的處理器和充足的內(nèi)存資源。這使其能夠在本地對海量的
    的頭像 發(fā)表于 01-23 16:14 ?437次閱讀

    意法半導(dǎo)體與高通攜手推進(jìn)聯(lián)網(wǎng)解決方案

    近日,全球領(lǐng)先的半導(dǎo)體制造商意法半導(dǎo)體(ST)與高通技術(shù)國際有限公司,即高通公司的子公司,共同宣布了項全新的戰(zhàn)略合作。雙方將攜手合作,共同開發(fā)基于邊緣人工智能(AI)的下一代工業(yè)和消
    的頭像 發(fā)表于 10-10 16:47 ?655次閱讀

    國家大力部署 IPv6,打造下一代聯(lián)網(wǎng)新生態(tài)

    。大力發(fā)展基于IPv6的下一代聯(lián)網(wǎng),有助于提升我國網(wǎng)絡(luò)信息技術(shù)自主創(chuàng)新能力和產(chǎn)業(yè)高端發(fā)展水平。IPv6能夠高效支撐移動互聯(lián)網(wǎng)聯(lián)網(wǎng)、工業(yè)
    的頭像 發(fā)表于 10-09 13:37 ?1051次閱讀
    國家大力部署 IPv6,打造<b class='flag-5'>下一代</b>互<b class='flag-5'>聯(lián)網(wǎng)</b>新生態(tài)

    如何使聯(lián)網(wǎng)邊緣設(shè)備高效節(jié)能?

    電源效率對于聯(lián)網(wǎng)的成功至關(guān)重要。設(shè)備的效率越高,其功能壽命就越長,用戶體驗就越好。您是否在組織中實施了聯(lián)網(wǎng)解決方案,以提高
    的頭像 發(fā)表于 09-24 15:18 ?829次閱讀
    如何使<b class='flag-5'>物</b><b class='flag-5'>聯(lián)網(wǎng)</b><b class='flag-5'>邊緣</b><b class='flag-5'>設(shè)備</b>高效節(jié)能?

    下一代高功能新一代AI加速器(DRP-AI3):10x在高級AI系統(tǒng)高級AI中更快的嵌入處理

    電子發(fā)燒友網(wǎng)站提供《下一代高功能新一代AI加速器(DRP-AI3):10x在高級AI系統(tǒng)高級AI
    發(fā)表于 08-15 11:06 ?0次下載
    <b class='flag-5'>下一代</b>高功能新<b class='flag-5'>一代</b><b class='flag-5'>AI</b>加速器(DRP-<b class='flag-5'>AI</b>3):10x在高級<b class='flag-5'>AI</b>系統(tǒng)高級<b class='flag-5'>AI</b>中更快的嵌入處理

    光路科技FR-TSN系列工業(yè)交換機(jī):提升下一代聯(lián)網(wǎng)的安全與效率

    下一代聯(lián)網(wǎng)個建立在IP技術(shù)基礎(chǔ)上的新型公共網(wǎng)絡(luò),具有更大的地址空間、更快的通信速度、更高的安全性和更豐富的業(yè)務(wù)類型。光纖通信技術(shù)的廣泛應(yīng)用,將為下一代
    的頭像 發(fā)表于 07-24 13:53 ?920次閱讀
    光路科技FR-TSN系列工業(yè)交換機(jī):提升<b class='flag-5'>下一代</b>互<b class='flag-5'>聯(lián)網(wǎng)</b>的安全與效率