作者:高靜宜 來源:機器之能
「嵌入式 AI」這個概念非?;稹2贿^,它到底是什么?更適合應用到哪些場景里?還有什么是它做不到的?我們應該來聽聽業(yè)內(nèi)做這一行的專家們的意見。
在人工智能迅猛發(fā)展的當下,幾乎每一家企業(yè)都在探索行業(yè)的切入點,試圖在人工智能大潮中分一杯羹。
而在追尋 AI 商業(yè)化的道路上,人們逐漸發(fā)現(xiàn),要實現(xiàn)技術(shù)的落地,不僅需要性能優(yōu)越的算法模型以及可靠的硬件支持,還需要把 AI 技術(shù)和硬件環(huán)境進行有機結(jié)合,再應用到具體的實際場景中,進而滿足用戶的需求。
而「嵌入式 AI」就是當前最熱門的 AI 商業(yè)化途徑之一。
「通過觀察市場我們發(fā)現(xiàn),在 AI 領(lǐng)域主要有兩撥人。一方是高大上的算法團隊,一方則是以深圳老板為代表的實體出貨商。有趣的是這兩撥人是完全不溝通的,就像一幫人看愛奇藝,一幫人看快手一樣?!筆erceptln 公司聯(lián)合創(chuàng)始人劉少山根據(jù)算法與硬件之間存在的壁壘,舉了一個有意思的例子。
Perceptln 于 2016 年成立于硅谷,旨在提供機器人整體軟硬件解決方案。創(chuàng)始人劉少山先后就職于 LinkedIn、英特爾、微軟研究院,曾擔任百度無人車高級架構(gòu)師,對于嵌入式 AI 有一些獨到的見解。
「我們做的就是把 AI 技術(shù)帶給那些應用廠商,推動整個市場發(fā)展。」據(jù)劉少山介紹,Perceptln 已針對高、中、低端等不同場景的應用推出三條產(chǎn)品線,分別將 AI 技術(shù)嵌入到智能玩具、服務(wù)類機器人以及自動駕駛等應用中。
事實上,嵌入式并非是一個新鮮或者「高大上」的概念。
所謂嵌入式,就是指一種可被內(nèi)置于設(shè)備或裝置的專用計算機系統(tǒng)。通常來說,具有數(shù)字接口的設(shè)備都具有嵌入式系統(tǒng),如手機、車載電腦、智能手表等等。
而嵌入式 AI,則是一種讓 AI 算法可以在終端設(shè)備上運行的技術(shù)概念。很簡單,換句話說,它的作用就是能讓音箱、手機、機器人等智能硬件在不聯(lián)網(wǎng)的情況下實時完成環(huán)境感知、人機交互、決策控制等功能。
而一位資深算法工程師告訴機器之能,通常來講他把程序編完了扔給公司里的嵌入式工程師,后者再負責把它嵌入到板子里。其實傳統(tǒng)做嵌入也是這個思路,兩端都要考慮,俗稱「兩頭堵」:
「按照我的理解,那些專注做嵌入式 AI 的可能是在針對 AI 模型做一些優(yōu)化或是板子的優(yōu)化,讓算法更高效地跑在板子上?!?/p>
那么嵌入式 AI 到底能做到什么?與云端 AI 相比,更適合應用到哪些場景里?還有什么是它做不到的?我們來聽聽更多業(yè)內(nèi)做這一行的專家們的意見:
什么樣的垂直場景更需要嵌入式 AI?
眾所周知,神經(jīng)網(wǎng)絡(luò)包括模型訓練和推斷兩個過程。而一提訓練,就必定會涉及海量的數(shù)據(jù)輸入,計算規(guī)模也會根據(jù)場景復雜性的遞增而變得愈加龐大。
因此,受到計算資源的限制,嵌入式端很難實現(xiàn)模型訓練的過程,也是我們下面要說的「幾個挑戰(zhàn)之一」。
而在推斷環(huán)節(jié),云端推斷和嵌入式推斷,二者訴求不同,因此也在不同的應用場景能夠發(fā)揮自己的優(yōu)勢:
前者的好處是,能夠承受高吞吐量并滿足復雜計算對資源的要求,因此多用于深度學習模型和計算較復雜的情況;而后者,則更多的應用于對「實時處理」有更高要求的場景中。
什么是「實時處理」?我們來舉個最實際的例子。無人駕駛汽車需要實時監(jiān)測周圍環(huán)境,但是如果無人車突然進入隧道,或者進入某個連不了網(wǎng)的環(huán)境中呢?
是的,駕駛場景復雜多變,并不能保證時刻都能有一個百分之百可用的網(wǎng)絡(luò)。因此,嵌入式 AI 憑借其實時性優(yōu)勢及脫機運行的能力得以自動駕駛領(lǐng)域展現(xiàn)實力。
國內(nèi)自動駕駛卡車技術(shù)研發(fā)公司圖森未來 COO 郝佳男就曾在接受機器之能采訪時表示:「從理論上講,在云端處理傳感器信號并不可行,存在延遲和可用性問題?!?/p>
因此,信號的本地處理也是整個自動駕駛領(lǐng)域的一大訴求,因為設(shè)備端采集到數(shù)據(jù)后上傳到計算完成返回終端的過程會不可避免地帶來一定的延時,駕駛的危險系數(shù)也隨之提升。
而中科創(chuàng)達副總裁孫力在前天舉辦的嵌入式人工智能技術(shù)論壇上也提到了這一問題:「自動駕駛汽車每秒鐘可以產(chǎn)生 1G 的數(shù)據(jù),必須及時的、迅速的在本地來處理決策,不可能移到云端。」
除了無人駕駛,在智能家居方面,試想一下如果用戶家中安裝了一個監(jiān)控攝像頭,那么把數(shù)據(jù)傳到云端很可能會增加個人隱私泄露的風險。而由于嵌入式 AI 是在本地處理數(shù)據(jù),數(shù)據(jù)沒有上云的過程,就可以保證用戶的信息安全,免除不必要的麻煩。
除了這些特定的應用場景,一些 AI 技術(shù)公司對嵌入式 AI 也有著廣泛的需求。而近來因巨額融資引起廣泛熱議的 Face++就是其中的一員。
「雖然我們主攻金融、安防以及手機智能這三個垂直領(lǐng)域?!构?CTO 唐文斌向機器之能表示,「但是我們在手機端遇到了第一個問題?!顾忉尩?。
他們在手機端做實名認證及人臉解鎖的時候發(fā)現(xiàn),算法會不斷「吃」計算力。也就是說,即便計算力不斷增長,算法對計算力也總是處于「欲求不滿」的狀態(tài)。
其次是在攝像機端。他談到算法研發(fā)人員希望在做人臉識別的時候,可以讓人臉在視頻中的檢測、抓拍環(huán)節(jié)在相機端實現(xiàn)。這樣一來,就可以只傳輸有價值的信息,而非原始的大容量視頻,能夠有效減少傳輸帶寬以及后端部署服務(wù)器的計算量及存儲量,讓系統(tǒng)的整體架構(gòu)變得更加輕便。
「那么,本來信息可以存 3 個月,現(xiàn)在可以存 3 年,這會帶來非常大的價值。」唐文斌補充道。
嵌入式 AI 挑戰(zhàn)也很多,AI 公司都是如何選擇的?
在把 AI 技術(shù)部署于終端設(shè)備的過程中,嵌入式技術(shù)至關(guān)重要。簡單來說,這一過程需要對芯片進行全方位考量以評估芯片的性能,然后根據(jù)神經(jīng)網(wǎng)絡(luò)算法做特殊化處理,「無縫對接」嵌入式設(shè)備的能力?!讣葲]有浪費運算單元,又最大程度地體現(xiàn)算法的精度,這是一個藝術(shù)活,也是技術(shù)活?!箤O力如是說。
然而,把嵌入式 AI 從云端遷移到終端卻并非易事。孫力表示,目前嵌入式 AI 面臨三大挑戰(zhàn),分別為運算能力、功耗及散熱。這些也是經(jīng)典嵌入式設(shè)備所面臨的問題。
此外,你還需要考慮算法新增的神經(jīng)網(wǎng)絡(luò)處理單元與原有 DSP、GPU 計算架構(gòu)的算法精度二者之間的平衡問題,以及如何對傳統(tǒng)運算力較低的智能硬件設(shè)備進行升級,或者怎樣為傳統(tǒng)硬件添加 SoC 以實現(xiàn)智能化轉(zhuǎn)型等等問題。
而這些也基本都與成本掛鉤(一提錢現(xiàn)場都笑了)。如何讓嵌入式 AI 展現(xiàn)出應有的商業(yè)價值,也是真實存在且亟待解決的問題。
因此,孫力表示,在具體操作上,技術(shù)人員不僅需要剪裁優(yōu)化出最佳的計算模型并集成到移動設(shè)備上,還要保證操作系統(tǒng)向下驅(qū)動底層硬件,向上支持軟件算法,而且對于終端設(shè)備他們必須有深入的理解。
「只有這樣,才能保證整個嵌入式 AI 算法模型經(jīng)濟、高效的運算?!?/strong>他強調(diào)。
又根據(jù)劉少山回憶,在創(chuàng)業(yè)初期,團隊以為算法會是最大的門檻,結(jié)果發(fā)現(xiàn)整合能力的需求才是最高的。
「這也是美國有許多算法技術(shù)很強的初創(chuàng)公司都被谷歌、蘋果這類大公司收購的原因。」他解釋道,「因為,從算法到落地產(chǎn)品還有一個很遠的距離。」
為了解決這些問題,業(yè)內(nèi)目前主要采取三種實現(xiàn)路徑,分別是「壓縮算法模型」,「不斷挖掘硬件潛力」,以及「在壓縮模型的同時針對現(xiàn)有芯片進行優(yōu)化」。
劉少山表示,目前看來,第三種路徑是能夠最快落地的。但是無論如何,優(yōu)化到一定程度還會遇到瓶頸,還是需要你轉(zhuǎn)過頭去提高硬件性能。
那么一些明星公司們都是如何選擇的呢?
深鑒科技與寒武紀就選擇設(shè)計開發(fā)專用芯片。而中科創(chuàng)達則明確表示不做芯片,只在中間層發(fā)力,根據(jù)下游行業(yè)層出不窮的新需求做定制化工作,幫助寒武紀、高通這樣的上游芯片企業(yè)發(fā)揮自己的價值。
但劉少山認為:「業(yè)界有許多公司瞄準了視覺方向的芯片加速,但除此之外,針對定位導航和語音交互等技術(shù)的芯片行業(yè)還相對空白,整個市場仍存在較大發(fā)展空間?!?/p>
云和端,你選擇哪一個?
唐文斌認為,「端+云」的未來發(fā)展趨勢已經(jīng)非常明確。一些需要移動端提供快速響應能力的場景可以選擇在移動端進行計算,而需要把海量數(shù)據(jù)匯聚在一起,實現(xiàn)大規(guī)模數(shù)據(jù)挖掘與處理的情況可以放在云端進行。對此,中科創(chuàng)達 CEO 耿增強也持有相同的觀點。
「不過,具體哪些放在云端,哪些放在移動端,還沒有一條統(tǒng)一的分界線,這也是留給我們的一個問題?!箤O力補充道。
「這里面存在較多的組合方式,」劉少山也認為,抓取數(shù)據(jù)、理解數(shù)據(jù)、根據(jù)理解做出行為決策等等環(huán)節(jié)可以全部在硬件執(zhí)行,當然也可以部分給軟件、部分給硬件。
「很多感知計算涉及深度學習網(wǎng)絡(luò),各家公司對這方面的硬件加速也有很深的理解。不過在決策階段,很多算法還沒有定型,以無人車為例,業(yè)界主要還是基于規(guī)則的方法來做決策?!?/p>
而耿增強則表示,我們無需擔心算法定型后,嵌入式 AI 的價值會減弱?!杆惴ㄊ菦]有完美的,當這個算法趨于完美之時,大家會產(chǎn)生更多的需求,也會不斷有新的算法出現(xiàn),你總會發(fā)現(xiàn)自己還有很多技術(shù)工作要做。因為技術(shù)是沒有窮盡的?!?/p>
不過,云和端既然還沒有統(tǒng)一的應用分界線,那么你是怎樣考慮的呢?在下方留言,說說你對嵌入式 AI 的意見和見解吧。
評論