一款新的64位MPU RZ/V2H，為瑞薩電子的RZ/V系列帶來(lái)了針對(duì)邊緣AI的重大升級(jí)。邊緣AI是指在連接網(wǎng)絡(luò)的邊緣進(jìn)行的AI處理。優(yōu)勢(shì)在于嵌入式和本地處理系統(tǒng)，如安全設(shè)備、家用機(jī)器人和家用電器；相比之下，云AI處理是在中央服務(wù)器群中進(jìn)行的。

瑞薩電子的RZ/V系列微處理器均采用多核技術(shù)，并針對(duì)本地機(jī)器視覺(jué)處理進(jìn)行了優(yōu)化。新的RZ/V2 H通過(guò)額外的處理器內(nèi)核、更快的處理速度和更低的功耗大大提高了賭注，在Resnet 50（一種50層深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)）上提供高達(dá)80 tera/s的操作（TOP）。

瑞薩64位RZ/V視覺(jué)AL MPU產(chǎn)品線

它還包括AI分類(lèi)模型，效率高達(dá)每瓦10個(gè)TOP。相比之下，該系列中之前的MPU在Resnet50上的最高速度為1 TOP和28 fps。

多達(dá)10個(gè)處理核心

RZ/V2 H配備了四核Cortex-A55，雙核Cortex-R8，Cortex-M33，Renesas DRP，Renesas DRP-AI以及可選的硬件圖像信號(hào)處理器（ISP）。A55通常運(yùn)行Linux進(jìn)行整體系統(tǒng)控制和處理。四核使MPU能夠以高達(dá)830 fps的速度同時(shí)支持四個(gè)4K分辨率攝像頭。實(shí)時(shí)操作，如電機(jī)控制和通信，可以卸載到R8。200 MHz M33處理后臺(tái)任務(wù)，如電源管理和喚醒任務(wù)。

RZ/V2 H應(yīng)用示意圖

硬件ISP是從相機(jī)獲取圖像數(shù)據(jù)的第一站。由于有些相機(jī)有自己的ISP，瑞薩電子提供的RZ/V2 H有或沒(méi)有硬件ISP部分。最后，DRP和DRP-AI提供OpenCV兼容性，并執(zhí)行大部分AI處理。這為智能家居和辦公設(shè)備、工業(yè)安全產(chǎn)品和基礎(chǔ)設(shè)施設(shè)備提供了強(qiáng)大的處理器選項(xiàng)。它允許設(shè)備執(zhí)行AI操作，如圖像識(shí)別，識(shí)別和決策，而無(wú)需調(diào)用服務(wù)器進(jìn)行任何操作，但最復(fù)雜的AI操作。更多信息可以在RZ/V2 H手冊(cè)中找到。

更高的計(jì)算性能，更低的電力消耗

當(dāng)小封裝決定了低熱量和低功耗預(yù)算時(shí)，僅僅增加內(nèi)核或提高時(shí)鐘速度來(lái)提高性能是不夠的。在這方面，RZ/V2 H沒(méi)有讓人失望。它具有核心和時(shí)鐘速度，但它也使用了精心的優(yōu)化來(lái)增加功能，同時(shí)降低功耗。

瑞薩電子專(zhuān)有的動(dòng)態(tài)可重編程處理器（DRP）是一種可重新配置的處理引擎，可以適應(yīng)不同的任務(wù)。它足夠靈活，可以根據(jù)需要隨每個(gè)時(shí)鐘周期進(jìn)行更改。在RZ/V2H中，DRP系統(tǒng)卸載了預(yù)處理和后處理。 DRP處理OpenCV兼容性，而針對(duì)AI數(shù)學(xué)優(yōu)化的DRP—AI執(zhí)行最繁重的AI計(jì)算。瑞薩表示，V3的能效是V2的10倍。

矩陣計(jì)算現(xiàn)在使用INT 8數(shù)據(jù)量化，而不是DRP-AI V2中使用的FP 16。從浮點(diǎn)數(shù)降為整數(shù)似乎是一個(gè)很大的妥協(xié)，但在這個(gè)應(yīng)用程序中，它不是。MPU使用Resnet 50模型，該模型使用INT 8數(shù)據(jù)保持高精度。遷移到INT 8可以將數(shù)學(xué)性能提高14倍。與此同時(shí)，它將數(shù)據(jù)密度減半，從而使功率效率比FP 16高出2倍。

DRP中的非結(jié)構(gòu)化剪枝

一個(gè)稱為非結(jié)構(gòu)化修剪的過(guò)程帶來(lái)了進(jìn)一步的性能提升和功耗降低。AI模型會(huì)查看加權(quán)值，較大的值具有更大的意義，并且導(dǎo)致匹配的可能性更大。修剪將所有接近零的權(quán)重設(shè)置為零。

FP 16在早期MPU版本中沒(méi)有修剪（左），而INT 8在RZ/V2 H中具有稀疏修剪（右）。nbsp;

由于結(jié)果將為零，沒(méi)有值朝向最終結(jié)果，DRP—AI引擎跳過(guò)任何權(quán)重等于零的操作。保留零權(quán)重被稱為密集修剪，而跳過(guò)它們被稱為稀疏修剪。這使得AI模型更小，更快，更高效，在從FP16切換到INT 8獲得的2倍功率效率的基礎(chǔ)上，功率效率提高了約5倍。

根據(jù)瑞薩電子的基準(zhǔn)測(cè)試，INT8和稀疏修剪的結(jié)合顯著提高了常見(jiàn)競(jìng)爭(zhēng)產(chǎn)品的性能。

競(jìng)爭(zhēng)性基準(zhǔn)測(cè)試說(shuō)明RZ/V2H的性能優(yōu)勢(shì)

密集修剪提供了兩倍的性能，而稀疏修剪使AI性能進(jìn)一步提高了約3倍。在一個(gè)典型的應(yīng)用中，設(shè)備必須處理視頻，識(shí)別對(duì)象，并根據(jù)觀察結(jié)果做出決策，處理器中的AI計(jì)算速度直接轉(zhuǎn)化為設(shè)備操作的速度。機(jī)器人可以更快地移動(dòng)，警報(bào)可以更快地觸發(fā)，任何必要的響應(yīng)都可以更快地啟動(dòng)。

無(wú)需風(fēng)扇

與競(jìng)爭(zhēng)對(duì)手的基于GPU的嵌入式AI相比，DRP和DRP-AI提高了性能并顯著降低了功耗。在機(jī)器人真空用例中，RZ/V2 H以低于4 W的功率為AI同步定位和地圖繪制（SLAM）提供13 fps的幀率，從而在大多數(shù)應(yīng)用中無(wú)需冷卻風(fēng)扇。這意味著更安靜的操作和更長(zhǎng)的電池壽命。RZ/V2 H現(xiàn)在可以作為組件和開(kāi)發(fā)板從標(biāo)準(zhǔn)瑞薩分銷(xiāo)渠道購(gòu)買(mǎi)。