Google Coral Edge TPU和NVIDIA Jetson Nano大比拼！本文從分別對(duì)兩款最新推出的EdgeAI芯片做了對(duì)比，分析了二者各自的優(yōu)劣勢(shì)。

邊緣智能被稱作是人工智能的最后一公里。

Google剛剛在3月份推出了Coral Edge TPU，是一款售價(jià)不到1000元人民幣的開發(fā)板（Coral Dev Board），由Edge TPU模塊和 Baseboard 組成。參數(shù)如下：

英偉達(dá)同樣在上個(gè)月發(fā)布了最新的NVIDIA Jetson Nano，Jetson Nano是一款類似于樹莓派的嵌入式電腦設(shè)備，其搭載了四核Cortex-A57處理器，GPU則是擁有128個(gè)NVIDIA CUDA核心的NVIDIA麥克斯韋架構(gòu)顯卡，內(nèi)存4GB LPDDR4，存儲(chǔ)則為16GB eMMC 5.1，支持4K 60Hz視頻解碼。

目前位置并沒有太多關(guān)于這兩款產(chǎn)品的評(píng)測(cè)報(bào)告。今天新智元為大家?guī)硪黄删W(wǎng)友Sam Sterckval對(duì)兩款產(chǎn)品的評(píng)測(cè)，除此以外他還測(cè)試了i7-7700K + GTX1080（2560CUDA），Raspberry Pi 3B +，以及一個(gè)2014年的MacBook pro包含一個(gè)i7-4870HQ（沒有支持CUDA的內(nèi)核）。

Sam使用MobileNetV2作為分類器，在imagenet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，直接從Keras使用這個(gè)模型，后端則使用TensorFlow。使用GPU的浮點(diǎn)權(quán)重，以及CPU和Coral Edge TPU的8bit量化tflite版本。

首先，加載模型以及一張喜鵲圖像。先執(zhí)行1個(gè)預(yù)測(cè)作為預(yù)熱，Sam發(fā)現(xiàn)第一個(gè)預(yù)測(cè)總是比隨后的預(yù)測(cè)更能說明問題。然后Sleep 1秒，確保所有的線程的活動(dòng)都終止，然后對(duì)同一圖像進(jìn)行250次分類。

對(duì)所有分類使用相同的圖像，能夠確保在整個(gè)測(cè)試過程中保持接近的數(shù)據(jù)總線。

對(duì)比結(jié)果

先來看最終的結(jié)果：

線性刻度，F(xiàn)PS

對(duì)數(shù)刻度，F(xiàn)PS

線性刻度，推理時(shí)間（250x）

Sam發(fā)現(xiàn)使用CPU的量化tflite模型得分是不同的，但似乎它總是返回與其它產(chǎn)品相同的預(yù)測(cè)結(jié)果，他懷疑模型有點(diǎn)奇怪，但能確保它不會(huì)影響性能。

對(duì)比分析

第一個(gè)柱狀圖中我們可以看到有3個(gè)比較突出的數(shù)據(jù)，其中兩個(gè)2個(gè)是由Google Coral Edge TPU USB加速器實(shí)現(xiàn)的，第3個(gè)是由英特爾i7-7700K輔助NVIDIA GTX1080實(shí)現(xiàn)。

我們?cè)僮屑?xì)對(duì)比一下就會(huì)發(fā)現(xiàn)，GTX1080實(shí)際上完全無法跟Google的Coral對(duì)飚。要知道GTX1080的最大功率為180W，而Coral Edge TPU只有2.5W。

NVIDIA Jetson Nano的得分并不高。雖然它有一個(gè)支持CUDA的GPU，但實(shí)際上并沒比那臺(tái)2014年MBP的i7-4870HQ快太多，但畢竟還是比這款四核，超線程的CPU要快。

然而相比i7 50W的能耗，Jetson Nano平均能耗始終保持在12.5W，也就是說功耗降低75％，性能提升了10％。

NVIDIA Jetson Nano

盡管Jetson Nano并沒有在MobileNetV2分類器中表現(xiàn)出令人印象深刻的FPS率，但它的優(yōu)勢(shì)非常明顯：

它很便宜，能耗低，更重要的是，它運(yùn)行TensorFlow-gpu或任何其他ML平臺(tái)的操作，和我們平時(shí)使用的其他設(shè)備一樣。只要我們的腳本沒有深入到CPU體系結(jié)構(gòu)中，就可以運(yùn)行與i7 + CUDA GPU完全相同的腳本，也可以進(jìn)行訓(xùn)練！Sam強(qiáng)烈希望NVIDIA應(yīng)該使用TensorFlow預(yù)加載L4T。

來源：NVIDIA

Google Coral Edge TPU

Sam毫不掩飾的表達(dá)了他對(duì)Google Coral Edge TPU的精心設(shè)計(jì)以及高效率的喜愛。下圖我們可以對(duì)比Edge TPU有多小。

Penny for scale，來源：谷歌

Edge TPU就是所謂的“ASIC”（專用集成電路），這意味著它具有FET等小型電子部件，以及能夠直接在硅層上燒制，這樣它就可以加快在特定場(chǎng)景下的推力速度。但Edge TPU無法執(zhí)行反向傳播。

Google Coral Edge TPU USB加速器

下圖顯示了Edge TPU的基本原理。

來源：谷歌

像MobileNetV2這樣的網(wǎng)絡(luò)主要由后面帶有激活層的卷積組成。公式如下：

卷積

這意味著將圖像的每個(gè)元素（像素）與內(nèi)核的每個(gè)像素相乘，然后將這些結(jié)果相加，以創(chuàng)建新的“圖像”（特征圖）。這正是Edge TPU的主要工作。將所有內(nèi)容同時(shí)相乘，然后以瘋狂的速度添加所有內(nèi)容。這背后沒有CPU，只要你將數(shù)據(jù)泵入左邊的緩沖區(qū)就可以了。

我們看到Coral在性能/瓦特的對(duì)比中，差異如此大的原因，它是一堆電子設(shè)備，旨在完成所需的按位操作，基本上沒有任何開銷。

總結(jié)

為什么GPU沒有8位模型？

GPU本質(zhì)上被設(shè)計(jì)為細(xì)粒度并行浮點(diǎn)計(jì)算器。而Edge TPU設(shè)計(jì)用于執(zhí)行8位操作，并且CPU具有比完全位寬浮點(diǎn)數(shù)更快的8位內(nèi)容更快的方法，因?yàn)樗鼈冊(cè)诤芏嗲闆r下必須處理這個(gè)問題。

為何選擇MobileNetV2？

主要原因是，MobileNetV2是谷歌為Edge TPU提供的預(yù)編譯模型之一。

Edge TPU還有哪些其他產(chǎn)品？

它曾經(jīng)是不同版本的MobileNet和Inception，截至上周末，谷歌推出了一個(gè)更新，允許我們編譯自定義TensorFlow Lite模型。但僅限于TensorFlow Lite模型。而反觀Jetson Nano就沒有這方面的限制。

Raspberry Pi + Coral與其他人相比

為什么連接到Raspberry Pi時(shí)Coral看起來要慢得多？因?yàn)镽aspberry Pi只有USB 2.0端口。

i7-7700K在Coral和Jetson Nano上的速度都會(huì)更快一些，但仍然無法和后兩者比肩。因此推測(cè)瓶頸是數(shù)據(jù)速率，不是Edge TPU。

來源：NVIDIA