近日，華為最新一代卓越人工智能手機(jī)芯片麒麟980正式亮相，麒麟980在業(yè)內(nèi)首次搭載雙核NPU，實(shí)現(xiàn)業(yè)界頂級(jí)端側(cè)AI算力，將支持更加豐富的AI應(yīng)用場(chǎng)景。在加速端側(cè)AI算力提升的同時(shí)，華為不斷追求為用戶帶來(lái)體驗(yàn)升級(jí)——推出慧眼2.0，深入用戶使用最多的拍照及小視頻應(yīng)用場(chǎng)景進(jìn)行深度優(yōu)化，提供端到端的解決方案。

在IFA 2018現(xiàn)場(chǎng)，麒麟980演示了全新的AI多人姿態(tài)實(shí)時(shí)識(shí)別能力?；贏I的強(qiáng)勁算力，搭載麒麟980的開(kāi)發(fā)板能夠?qū)崟r(shí)精準(zhǔn)識(shí)別多人的骨骼線條，在進(jìn)行揮手、跳躍、舞蹈等大幅動(dòng)作時(shí)，識(shí)別出的骨骼線條也會(huì)實(shí)時(shí)隨身體變化。而這項(xiàng)新奇的體驗(yàn)，與慧眼2.0之間也有著不可分割的聯(lián)系。

慧眼2.0，更智慧的視覺(jué)體驗(yàn)

隨著端側(cè)AI技術(shù)的不斷突破與發(fā)展，手機(jī)用戶對(duì)AI應(yīng)用的需求也隨之增長(zhǎng)。去年，麒麟970的AI技術(shù)推動(dòng)手機(jī)拍照逐步向“慧眼”階段演進(jìn)，結(jié)合端側(cè)AI的智慧算力，手機(jī)在拍照時(shí)能夠識(shí)別多種復(fù)雜的拍照?qǐng)鼍安⒆詣?dòng)設(shè)置最佳參數(shù)，輕松拍出大師級(jí)的攝影作品，帶給用戶全新的智慧拍照體驗(yàn)。

時(shí)隔一年，“慧眼2.0”隨著麒麟980的發(fā)布正式亮相?！盎垩?.0”在手機(jī)視覺(jué)入口提供了一個(gè)“感知、測(cè)量、認(rèn)知、計(jì)算”的端到端完整解決方案，人工智能技術(shù)深度參與視覺(jué)處理的各個(gè)環(huán)節(jié)，通過(guò)后臺(tái)基礎(chǔ)算法的極大提升和流程優(yōu)化，讓用戶明顯感知到體驗(yàn)的大幅增強(qiáng)。

在慧眼2.0解決方案中，麒麟980的CPU/GPU/DSP/NPU構(gòu)成了底層硬件，為上層的AI圖像處理提供運(yùn)算性能支持。在上層運(yùn)算中，ISP和攝像頭用于收集圖像數(shù)據(jù)，經(jīng)過(guò)AI運(yùn)算，能夠?yàn)槭謾C(jī)用戶帶來(lái)圖像、視頻及AR方面的應(yīng)用提升，帶來(lái)更智慧的視覺(jué)體驗(yàn)。上述提到的AI多人姿態(tài)實(shí)時(shí)識(shí)別，正是通過(guò)攝像頭收集人體動(dòng)作的圖像信息，再經(jīng)過(guò)AI實(shí)時(shí)運(yùn)算，實(shí)現(xiàn)了與AR相關(guān)的人體姿態(tài)能力，為將來(lái)的AI和AR體驗(yàn)開(kāi)啟無(wú)限想象。

攝像頭與ISP優(yōu)化，麒麟980圖像信息收集能力提升

對(duì)手機(jī)用戶來(lái)說(shuō)，感受最直觀的AI功能幾乎都離不開(kāi)攝像頭，無(wú)論拍照還是小視頻，AI都需要通過(guò)攝像頭獲取圖像信息。在手機(jī)攝影和攝像領(lǐng)域，華為有著多年深厚的技術(shù)積累，早在2014年華為在業(yè)內(nèi)率先推出搭載雙攝像頭的榮耀6 Plus，2016年華為開(kāi)始與徠卡合作，讓手機(jī)攝像頭開(kāi)始呈現(xiàn)相機(jī)畫質(zhì)，2018年初發(fā)布的華為P20 Pro更是首創(chuàng)徠卡后置三攝，帶來(lái)前所未有的AI攝影大師體驗(yàn)?？梢哉f(shuō)，在手機(jī)拍照領(lǐng)域，華為始終走在行業(yè)前列，并在這個(gè)過(guò)程中積累大量圖像算法、鏡頭優(yōu)化以及ISP相關(guān)的豐富經(jīng)驗(yàn)與優(yōu)化能力。

與此同時(shí)，麒麟芯片持續(xù)優(yōu)化攝像頭的相關(guān)算法，通過(guò)端到端優(yōu)化的方式不斷提升手機(jī)的成像質(zhì)量。麒麟980采用全新升級(jí)第四代自研ISP，像素吞吐率較上一代提升46%，支持更多攝像頭，適配多攝像頭帶來(lái)的全新拍照體驗(yàn)，分別針對(duì)視頻和照片推出延遲視頻處理流水線和高質(zhì)量圖像處理流水線，幫助手機(jī)用戶捕捉更多清晰的圖像內(nèi)容，進(jìn)一步強(qiáng)化圖像信息的收集能力。

端側(cè)AI閉環(huán)架構(gòu)，麒麟980 AI圖像處理能力升級(jí)

基于麒麟980業(yè)界最強(qiáng)的端側(cè)AI算力，麒麟980在接收到圖像信息后可以實(shí)時(shí)完成多種復(fù)雜的運(yùn)算處理。視頻方面，麒麟980能夠做到人體肢體的檢測(cè)與識(shí)別，支持區(qū)域分割和主體摳圖和視頻跟蹤追焦等功能，實(shí)時(shí)完成逐幀的畫面處理；在處理圖片時(shí)，麒麟980能夠?qū)崿F(xiàn)文本識(shí)別、圖像超分辨率及RAW圖像降噪、RGB還原等功能，讓用戶明顯感受到AI拍照及攝像的體驗(yàn)提升。在AI圖像處理能力升級(jí)的背后，是華為在端側(cè)AI不斷探索完善的計(jì)算架構(gòu)，將SoC芯片的強(qiáng)勁AI運(yùn)算力與算法、數(shù)據(jù)以及終端設(shè)備形成完整閉環(huán)，發(fā)揮綜合AI運(yùn)算實(shí)力。

AR能力升級(jí)，帶來(lái)體驗(yàn)創(chuàng)新

近年來(lái)，AR應(yīng)用開(kāi)始成為智能手機(jī)的亮點(diǎn)功能，用戶可以通過(guò)AR在手機(jī)屏幕里看到現(xiàn)實(shí)世界與虛擬世界的結(jié)合，獲得趣味體驗(yàn)。而AR效果的實(shí)現(xiàn)需要結(jié)合麒麟980的算法與AI圖像識(shí)別能力，綜合對(duì)圖像進(jìn)行處理。麒麟980支持AR應(yīng)用的視頻流特征提取、姿態(tài)估計(jì)以及地圖重建，讓更多AR應(yīng)用的落地成為可能。

基于以上能力，慧眼2.0將為廣大手機(jī)用戶帶來(lái)全新的拍照及視頻體驗(yàn)，同時(shí)面向廣大開(kāi)發(fā)者開(kāi)放這一能力，將華為HiAI移動(dòng)計(jì)算架構(gòu)完善的SDK、豐富的API接口、業(yè)界領(lǐng)先的算子支持以及華為開(kāi)放完整的Camera DDK、AR DDK以及HiAI Foundation完整的開(kāi)放架構(gòu)，全部提供給開(kāi)發(fā)者作為工具，讓他們能夠創(chuàng)造出更多豐富的應(yīng)用體驗(yàn)。

麒麟980開(kāi)放架構(gòu)，助力開(kāi)發(fā)者探索智慧未來(lái)

合作開(kāi)放一直是華為在推進(jìn)端側(cè)AI發(fā)展的核心理念。麒麟980支持Caffe、Tensorflow、Tensorflow Lite等主流框架，具有強(qiáng)大的深度學(xué)習(xí)框架兼容性，達(dá)到業(yè)界領(lǐng)先水平；提供了離線編譯、在線編譯、8bit量化等一系列完整工具鏈，既可以大大降低端側(cè)模型部署的工程難度，還可以利用NPU差異化優(yōu)勢(shì)發(fā)揮出最強(qiáng)算力；支持CPU、GPU、NPU、DSP等的異構(gòu)計(jì)算，方便深度學(xué)習(xí)算法在麒麟980的自動(dòng)靈活調(diào)度執(zhí)行。

在慧眼2.0中，華為面向廣大開(kāi)發(fā)者及合作伙伴開(kāi)放多個(gè)接口，助力AI應(yīng)用的創(chuàng)新探索：

Kirin Camera DDK：在現(xiàn)有的拍照APP中，經(jīng)常會(huì)出現(xiàn)拍照效果失真，甚至在夜晚場(chǎng)景下拍照效果不如手機(jī)自帶相機(jī)的情況。這主要是因?yàn)榈谌紸PP目前是無(wú)法調(diào)用手機(jī)自帶相機(jī)的ISP，無(wú)法在APP中利用手機(jī)ISP的算法優(yōu)勢(shì)。麒麟980全面開(kāi)放Camera DDK，將前端更好的暗光、高動(dòng)態(tài)和分辨率能力開(kāi)放給廣大開(kāi)發(fā)者，讓第三方APP能夠直接調(diào)用手機(jī)本身的ISP算法，對(duì)APP的成像效果進(jìn)行優(yōu)化。

Kirin AR DDK：SLAM（simultaneous localization and mapping，即時(shí)定位與地圖構(gòu)建）是對(duì)環(huán)境和位置的識(shí)別技術(shù)，同時(shí)也是AR應(yīng)用開(kāi)發(fā)的關(guān)鍵。麒麟980支持SLAM算子加速，還能實(shí)現(xiàn)人臉建模及跟蹤能力，可以根據(jù)人體骨架姿態(tài)進(jìn)行估計(jì)和跟蹤，在AI人體姿態(tài)估計(jì)的demo中已經(jīng)初步展示這一能力。將AR DDK開(kāi)放給AI應(yīng)用開(kāi)發(fā)者，能夠帶給AI應(yīng)用更多有趣的方向，如更加豐富的AR特效，以及基于AR技術(shù)的游戲等，讓開(kāi)發(fā)者能夠盡情施展關(guān)于AR應(yīng)用的想象。

HiAI Foundation：HiAI Foundation是華為基于硬件為廣大開(kāi)發(fā)者提供的一套開(kāi)發(fā)AI應(yīng)用的基礎(chǔ)工具，能夠有效解決端側(cè)功耗、計(jì)算力等瓶頸，促進(jìn)端側(cè)AI規(guī)模應(yīng)用，在硬件性能、運(yùn)算效率與開(kāi)發(fā)者服務(wù)方面帶來(lái)提升。基于麒麟980的業(yè)界最強(qiáng)端側(cè)AI算力，HiAI Foundation能夠支持147個(gè)算子，并開(kāi)放33個(gè)API接口及1000+abilities，對(duì)于開(kāi)發(fā)者來(lái)說(shuō)能夠支持更多AI功能，在圖像識(shí)別時(shí)也能支持更豐富的場(chǎng)景，真正成為開(kāi)發(fā)者的實(shí)用工具。

基于華為的端側(cè)AI移動(dòng)計(jì)算架構(gòu)，麒麟980能夠?yàn)閺V大開(kāi)發(fā)者提供性能更強(qiáng)、操作更簡(jiǎn)易的開(kāi)發(fā)工具，讓更多充滿創(chuàng)意和趣味的AI應(yīng)用落地成為可能，為廣大手機(jī)用戶帶來(lái)全新的手機(jī)體驗(yàn)。搭載麒麟980的華為Mate 20系列即將于10月16日在倫敦發(fā)布，屆時(shí)將會(huì)帶來(lái)哪些新奇的AI體驗(yàn)，開(kāi)發(fā)者又將帶給Mate 20系列的用戶哪些驚喜？值得共同期待。