作者

英特爾AI軟件布道師

武卓博士

曾主持國(guó)家級(jí)及省部級(jí)科研項(xiàng)目十余項(xiàng)，已授權(quán)國(guó)際國(guó)內(nèi)專(zhuān)利十余項(xiàng)。

目前，數(shù)字化浪潮席卷全球，人類(lèi)社會(huì)已經(jīng)進(jìn)入智能時(shí)代。萬(wàn)物互聯(lián)的數(shù)字化浪潮下，端—邊—云協(xié)同是實(shí)現(xiàn)數(shù)字化智能化的重要架構(gòu)之一。本文我們將簡(jiǎn)要分析邊云協(xié)同的必要性，并介紹如何使用英特爾開(kāi)源的OpenVINO工具套件，在“端—邊—云”快速實(shí)現(xiàn)高性能人工智能推理。

1邊云協(xié)同的必要性及

OpenVINO工具套件簡(jiǎn)介

眾所周知，18世紀(jì)60年代人類(lèi)開(kāi)始了第一次工業(yè)革命，從此進(jìn)入“蒸汽時(shí)代”，接著進(jìn)入了電氣時(shí)代和信息時(shí)代，當(dāng)前人類(lèi)社會(huì)正在發(fā)生第四次工業(yè)革命，即智能時(shí)代。英特爾首席執(zhí)行官帕特·基辛格在2021年世界互聯(lián)網(wǎng)大會(huì)烏鎮(zhèn)峰會(huì)上指出，要擁抱四大超級(jí)技術(shù)力量。這四大超級(jí)技術(shù)力量分別是：第一，無(wú)所不在的計(jì)算。計(jì)算能力正滲透到我們生活的方方面面，作為人和技術(shù)的交互點(diǎn)，跨越現(xiàn)有和新興設(shè)備。第二，無(wú)處不在的連接，即萬(wàn)物互聯(lián)。第三，從云到邊緣的基礎(chǔ)設(shè)施。它創(chuàng)造一個(gè)動(dòng)態(tài)可靠的路徑來(lái)連接計(jì)算和數(shù)據(jù)，實(shí)現(xiàn)規(guī)模和容量無(wú)限擴(kuò)展的云與無(wú)限延伸的智能邊緣相結(jié)合。第四是人工智能。這四大超級(jí)技術(shù)力量并不是技術(shù)孤島，而且相互協(xié)同，相互融合，共同推動(dòng)產(chǎn)業(yè)的巨大變革。

四大超級(jí)技術(shù)力量使得數(shù)據(jù)一旦產(chǎn)生之后，能夠在相應(yīng)的節(jié)點(diǎn)做快速且及時(shí)的處理，從而減少數(shù)據(jù)處理的延時(shí)；高價(jià)值數(shù)據(jù)經(jīng)過(guò)邊緣提取后，高效率的傳遞到云端，借助云端的超級(jí)計(jì)算力量挖掘數(shù)據(jù)背后隱含的價(jià)值，讓用戶(hù)可以開(kāi)發(fā)相應(yīng)的服務(wù)，實(shí)現(xiàn)科技向善。沒(méi)有邊云協(xié)同，這四大超級(jí)技術(shù)力量將被割裂，數(shù)據(jù)將成為孤島，智能時(shí)代要求的智能化、無(wú)人化和集群化將無(wú)法實(shí)現(xiàn)。如下圖所示，將云端規(guī)模開(kāi)發(fā)的優(yōu)勢(shì)與邊緣端推理的好處結(jié)合起來(lái)，能夠使得邊云協(xié)同的優(yōu)勢(shì)發(fā)揮到最大化，將無(wú)限的數(shù)據(jù)變成可操作的洞察力。

下圖是一個(gè)智能制造工廠中，利用“端—邊—云”協(xié)同架構(gòu)，利用人工智能技術(shù)實(shí)現(xiàn)實(shí)時(shí)產(chǎn)品缺陷檢測(cè)的例子。在這個(gè)場(chǎng)景中，每個(gè)工位構(gòu)成了“端”，在工位上架設(shè)的攝像頭可以每秒采集超過(guò)400張產(chǎn)品生產(chǎn)過(guò)程中的圖片。因此，在端這一側(cè)利用 AI 推理技術(shù)，對(duì)實(shí)時(shí)產(chǎn)生的大量圖片進(jìn)行 AI 推理，從而避免將海量數(shù)據(jù)同時(shí)傳輸?shù)皆贫水a(chǎn)生的高成本及延時(shí)。生產(chǎn)流水線(xiàn)構(gòu)成了這個(gè)場(chǎng)景中的“邊”，一些更為復(fù)雜的推理任務(wù)可以實(shí)時(shí)的在邊側(cè)完成，并進(jìn)行跨工位的調(diào)度。最終所有的推理結(jié)果可以進(jìn)一步推送到云端，進(jìn)行數(shù)據(jù)集中以及更為深層次的分析，同時(shí)邊緣端產(chǎn)生的部分?jǐn)?shù)據(jù)也可以推送至云端，作為訓(xùn)練數(shù)據(jù)的補(bǔ)充，用于對(duì)深度學(xué)習(xí)模型進(jìn)行重訓(xùn)練，以獲得更高的準(zhǔn)確性。

通過(guò)上述的例子，我們可以看出，在邊云協(xié)同的架構(gòu)中，一個(gè)很重要的步驟就是將 AI 的推理擴(kuò)展到邊緣端，避免邊緣端產(chǎn)生的大量數(shù)據(jù)向云端同時(shí)進(jìn)行傳輸所引起的高成本，可以獲得接近或處于邊緣的近實(shí)時(shí)決策。而能夠?qū)崿F(xiàn)邊緣端方便進(jìn)行 AI 模型部署及推理加速的重要工具之一，就是由英特爾開(kāi)源的OpenVINO工具套件。

OpenVINO工具套件經(jīng)過(guò)近四年的發(fā)展和演進(jìn)，現(xiàn)已正式發(fā)布了迄今為止變化最大的版本，即 OpenVINO 2022.1版本。在這一版本中，不僅支持包括基于 Tensorflow，PyTorch 在內(nèi)的深度學(xué)習(xí)框，更可以支持深受中國(guó)開(kāi)發(fā)者喜愛(ài)的 PaddlePaddle 飛槳深度學(xué)習(xí)框架。同時(shí)，為了方便開(kāi)發(fā)者在邊緣端部署深度學(xué)習(xí)模型，實(shí)現(xiàn)“一次撰寫(xiě)，任意部署（Write once，deploy anywhere）”的目的，OpenVINO可以支持包括英特爾 CPU、集成 GPU（iGPU）以及 VPU 在內(nèi)的多個(gè)硬件平臺(tái)的部署。只需要改動(dòng)一行代碼，就可以實(shí)現(xiàn)多硬件平臺(tái)部署。

尤為值得一提的是，在 OpenVINO2022.1版本中，為了使得開(kāi)發(fā)者更加便捷的使用 OpenVINO進(jìn)行深度學(xué)習(xí)的推理，更推出了 AUTO 插件（“auto device”）。開(kāi)發(fā)者只需要使用這樣的一行代碼

就可以在邊緣端實(shí)施 AI 推理時(shí)，由 AUTO 插件自動(dòng)化的檢測(cè)開(kāi)發(fā)者環(huán)境中可以用來(lái)進(jìn)行 AI 推理的設(shè)備，并自動(dòng)化的選擇更為合適的硬件設(shè)備進(jìn)行 AI 推理。另外，根據(jù)不同使用場(chǎng)景的使用需求不同，AUTO 插件在使用時(shí)，還允許開(kāi)發(fā)者選擇不同的“performance hint”性能指標(biāo)模式，從而按照使用需求，獲得高吞吐量或者低延時(shí)的推理性能。

2在微軟云機(jī)器學(xué)習(xí)平臺(tái) Azure ML 上利用

OpenVINO快速實(shí)現(xiàn) AI 推理

除了在邊緣端可以很方便地利用 OpenVINO工具套件進(jìn)行快速部署以外，在云端，比如微軟云 Azure 的機(jī)器學(xué)習(xí)平臺(tái) Azure ML 上，也可以利用 OpenVINO工具套件快速實(shí)現(xiàn)深度學(xué)習(xí)模型的部署，并進(jìn)行相應(yīng)的深度學(xué)習(xí)模型的優(yōu)化及推理加速。實(shí)現(xiàn)步驟如下：

步驟一

在 Azure 上注冊(cè)個(gè)人賬號(hào)，并在機(jī)器學(xué)習(xí)平臺(tái)上建立自己的工作室，就類(lèi)似于建立一個(gè)自己運(yùn)行推理的專(zhuān)用路徑。工作室建立好之后，每次運(yùn)行 AI 推理時(shí)，只需要點(diǎn)擊“啟動(dòng)工作室”之后，就可以進(jìn)入可以進(jìn)行模型部署及推理的頁(yè)面了。

步驟二

在啟動(dòng)工作室之后，即進(jìn)入以下頁(yè)面。由于我們是利用OpenVINOnotebooks的 notebook代碼示例資源，因此，我們?cè)陧?yè)面上相應(yīng)選擇Notebooks，即進(jìn)入可以使用Jupyter Notebook 運(yùn)行代碼，進(jìn)行 AI 推理的頁(yè)面。

頁(yè)面地址：https://github.com/openvinotoolkit/openvino_notebooks

步驟三

在進(jìn)入 Notebooks 頁(yè)面后，即可根據(jù)界面提示由本地上傳所有 Notebooks 文件夾中的代碼示例。也可以新建終端 Terminals，在終端頁(yè)面以 git clone 的方式，直接將OpenVINO Notebooks 在 GitHub 上的資源導(dǎo)入在 Azure ML 平臺(tái)上的工作室。

所有 notebooks 代碼示例導(dǎo)入過(guò)后，即可看到文件夾內(nèi)包含的所有代碼示例。

步驟四

申請(qǐng) Azure 上的計(jì)算資源，運(yùn)行 notebook 代碼。

以運(yùn)行 Notebook 213 機(jī)器問(wèn)答代碼示例，在申請(qǐng)好并打開(kāi)計(jì)算資源的使用后，運(yùn)行機(jī)器問(wèn)答 notebook 代碼示例，運(yùn)行結(jié)果如下，

3小結(jié)：

在上面的內(nèi)容中，我們跟大家分享了邊云協(xié)同的必要性，以及在邊緣端能夠?qū)崿F(xiàn)快速深度學(xué)習(xí)模型優(yōu)化、推理及任意部署的英特爾開(kāi)源 OpenVINO工具套件。并通過(guò)一個(gè)實(shí)例，向大家展示了如何在 Azure 機(jī)器學(xué)習(xí)平臺(tái)上利用 OpenVINO快速實(shí)現(xiàn)深度學(xué)習(xí)模型的推理。

關(guān)于英特爾 OpenVINO開(kāi)源工具套件的詳細(xì)資料，包括其中我們提供的三百多個(gè)經(jīng)驗(yàn)證并優(yōu)化的預(yù)訓(xùn)練模型的詳細(xì)資料，請(qǐng)您點(diǎn)擊：

https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/overview.html

除此之外，為了方便大家了解并快速掌握 OpenVINO工具套件的使用，我們還提供了一系列開(kāi)源的 Jupyter notebook demo。運(yùn)行這些 notebook，就能快速了解在不同場(chǎng)景下如何利用 OpenVINO工具套件實(shí)現(xiàn)一系列、包括 OCR 在內(nèi)的、計(jì)算機(jī)視覺(jué)及自然語(yǔ)言處理任務(wù)。OpenVINO notebooks的資源可以在 Github 以下地址下載安裝：

https://github.com/openvinotoolkit/openvino_notebooks

審核編輯：湯梓紅