“我們之所以推出Analytics Zoo這樣的大數(shù)據(jù)分析和人工智能平臺，就是希望讓用戶在實(shí)際的生產(chǎn)環(huán)境中可以更方便地構(gòu)建深度學(xué)習(xí)應(yīng)用，將不同的模塊、不同的框架統(tǒng)一到端到端流水線上，從而大幅提升客戶開發(fā)部署大數(shù)據(jù)分析和深度學(xué)習(xí)的能力?！?a href="http://www.www27dydycom.cn/tags/英特爾/" target="_blank">英特爾高級首席工程師、大數(shù)據(jù)技術(shù)全球CTO戴金權(quán)說。

已供職英特爾近17年的戴金權(quán)如今負(fù)責(zé)領(lǐng)導(dǎo)英特爾全球（硅谷和上海）工程團(tuán)隊(duì)高級大數(shù)據(jù)分析的研發(fā)工作，以及與全球研究機(jī)構(gòu)（如UC Berkeley AMPLab、RISELab等）的技術(shù)合作，是BigDL和Analytics Zoo項(xiàng)目的創(chuàng)始人。

為了幫助客戶在數(shù)據(jù)的海洋中抓住商業(yè)價(jià)值，并且讓這一過程通過更加智能化的手段變得簡單易用，英特爾在底層架構(gòu)和軟件堆棧領(lǐng)域一直在持續(xù)投入。在2019全球人工智能技術(shù)大會上，戴金權(quán)分享了英特爾構(gòu)建大數(shù)據(jù)分析+AI平臺背后的思考和實(shí)踐，而兩大開源項(xiàng)目BigDL、Analytics Zoo可謂是其中的代表。

BigDL是一個(gè)建立在大數(shù)據(jù)平臺之上原生的分布式深度學(xué)習(xí)庫，某種程度上類似Tensorflow、Caffe等DL框架，提供了在Apache Spark上豐富的深度學(xué)習(xí)功能，以幫助Hadoop/Spark成為統(tǒng)一的數(shù)據(jù)分析平臺，為整個(gè)數(shù)據(jù)分析和機(jī)器學(xué)習(xí)過程提供比現(xiàn)有框架更加集成化的支持。Analytics Zoo則是在Apache Spark、BigDL以及TensorFLow、Keras的基礎(chǔ)上構(gòu)建的大數(shù)據(jù)分析+AI平臺，大幅降低用戶開發(fā)基于大數(shù)據(jù)、端到端深度學(xué)習(xí)應(yīng)用的門檻。

生產(chǎn)環(huán)境面臨數(shù)據(jù)難題

《連線》雜志創(chuàng)始主編Kevin Kelly曾說：“大數(shù)據(jù)時(shí)代，沒有人能夠成為旁觀者，數(shù)據(jù)將‘橫掃一切’。”隨著萬物互聯(lián)時(shí)代的到來，數(shù)據(jù)對于客戶需求的指導(dǎo)性意義愈發(fā)凸顯，如何采集、傳輸、存儲、分析、處理數(shù)據(jù)成為各行各業(yè)攫取數(shù)字經(jīng)濟(jì)紅利的必備技能，可以說“數(shù)據(jù)在哪里，生意就在哪里”。

而英特爾所做的事情，就是讓這一切變得簡單高效。“如今深度學(xué)習(xí)、人工智能的應(yīng)用場景更加廣泛，要處理的數(shù)據(jù)也更加復(fù)雜，所以要構(gòu)建端到端的大數(shù)據(jù)處理分析加上機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的統(tǒng)一流水線?！贝鹘饳?quán)說。

不過要做到這些并不容易，當(dāng)前的生產(chǎn)系統(tǒng)中基于Apache Spark這樣的大數(shù)據(jù)集群仍是生產(chǎn)數(shù)據(jù)和大量硬件資源的聚集地，這樣生產(chǎn)資料和生產(chǎn)工具要通過AI應(yīng)用串聯(lián)起來。同時(shí)，工業(yè)級的分析平臺需要對數(shù)據(jù)收集/導(dǎo)入/處理、特征提取、模型訓(xùn)練、部署、推理等一系列的復(fù)雜工作流做出響應(yīng)，難度可想而知。

從架構(gòu)角度來看，很多獨(dú)立的深度學(xué)習(xí)框架與大數(shù)據(jù)平臺的架構(gòu)存在差異，例如前者對高性能有著格外的要求，后者更注重于橫向擴(kuò)展，這樣一來就需要在一個(gè)通用的大數(shù)據(jù)平臺上將不同的分布式深度學(xué)習(xí)系統(tǒng)統(tǒng)一兼容起來。此外，無論是利用Spark還是像Flink這樣的流處理框架，都要將數(shù)據(jù)處理的流水線和深度學(xué)習(xí)相互連接，在數(shù)十甚至是數(shù)千個(gè)節(jié)點(diǎn)的集群上提升計(jì)算效率和可擴(kuò)展性。

從生產(chǎn)角度來看，像工業(yè)大數(shù)據(jù)在構(gòu)建數(shù)據(jù)倉庫時(shí)往往會面對高達(dá)數(shù)百個(gè)KPI的流程處理，而且不同企業(yè)所面臨的數(shù)據(jù)類型和需求也是千差萬別，例如有些偏向?qū)D像或視頻數(shù)據(jù)的建模、訓(xùn)練、推理，需要很多的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化（CNN），而有些則是時(shí)序數(shù)據(jù)，要收集設(shè)備每秒鐘的振動頻率，并對這些數(shù)據(jù)進(jìn)行循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的分析。

由此引發(fā)出來的兩個(gè)挑戰(zhàn)，一是要手動把不同框架整合起來，二是用戶在處理數(shù)據(jù)時(shí)不再是單機(jī)環(huán)境，而是要在大規(guī)模分布式環(huán)境、甚至是生產(chǎn)環(huán)境中操作。

戴金權(quán)談到，無論是阿里云、騰訊云等CSP廠商，還是硬件OEM廠商、軟件提供商，其主要訴求都是希望將深度學(xué)習(xí)等AI框架和模型應(yīng)用于數(shù)據(jù)在生產(chǎn)系統(tǒng)上跑起來，這也是客戶使用Analytics Zoo的一個(gè)重要原因，“我們可以幫助用戶將大數(shù)據(jù)分析+AI應(yīng)用在端到端的流水線上輕松構(gòu)建出來，它可以從PC終端運(yùn)行到集群、生產(chǎn)環(huán)境當(dāng)中，這是我們在底層Analytics Zoo所做的工作?！?/p>

端到端的一致性體驗(yàn)

在Analytics Zoo之下，英特爾集成了豐富的深度學(xué)習(xí)框架和庫，可以隨時(shí)調(diào)用OpenVINO工具包、MKL-DNN等各種深度學(xué)習(xí)加速指令。同時(shí)，英特爾在上層也提供了高級的流水線API用于構(gòu)建端到端的應(yīng)用，以及深度學(xué)習(xí)模型，對圖片、文本、時(shí)間序列數(shù)據(jù)等不同類型的對象提供支持，用戶可以直接將內(nèi)嵌的模型嵌入到解決方案中。

舉例來說，英特爾可以將TensorFlow和Apache Spark整合到端到端的流水線中，讓TensorFlow無縫接受Apache Spark處理的數(shù)據(jù)，并且對用戶透明，以分布式的方式運(yùn)行在大數(shù)據(jù)集群上。此外，還提供了像基于標(biāo)準(zhǔn)JAVA 、Python、Web Server、深度學(xué)習(xí)尤其是視覺方面的神經(jīng)網(wǎng)絡(luò)加速，幫助用戶更方便地部署到網(wǎng)絡(luò)服務(wù)器上，幫助用戶更好地構(gòu)建模型和開展服務(wù)。

這一過程中，英特爾不僅在性能層面圍繞BigDL、Analytics Zoo做了大量優(yōu)化，還有效解決了可編程性的問題，使得用戶可以在Spark代碼中嵌入TensorFlow代碼，省去了不同框架之間反復(fù)調(diào)試等復(fù)雜的流程。在可擴(kuò)展性和部署方面，開發(fā)人員可以直接在大規(guī)模數(shù)據(jù)平臺進(jìn)行作業(yè)，這里就發(fā)揮了Analytics Zoo在大規(guī)模分布式、流式、批處理時(shí)的特性。

“我們可以支持各種不同的深度學(xué)習(xí)框架，比如要是原來有Caffe的模型，可以直接通過BigDL、Analytics Zoo加載到Spark運(yùn)行，然后對HBase讀取數(shù)據(jù)，這個(gè)天然就是Spark可以做的事情。后面深度學(xué)習(xí)的模型通過BigDL、Analytics Zoo的功能，可以透明、無縫的與大數(shù)據(jù)處理相結(jié)合，整個(gè)開發(fā)過程是非常簡單的。”戴金權(quán)表示，“所有分布式的任務(wù)、數(shù)據(jù)的分割、負(fù)載均衡，出錯(cuò)后如何處理，這些事情不再需要開發(fā)人員來擔(dān)心，完全可以交給大數(shù)據(jù)平臺來做，效率能夠大幅提升?！?/p>

Analytics Zoo支持多種AI框架和庫

即將發(fā)布的0.5.0版Analytics Zoo，英特爾會結(jié)合傲騰數(shù)據(jù)中心級持久內(nèi)存等新的硬件平臺對軟件算法進(jìn)行支持和優(yōu)化，如Spark RDD的緩存機(jī)制在內(nèi)存中計(jì)算訓(xùn)練數(shù)據(jù)可以實(shí)現(xiàn)降本增效、VNNI指令集可以大幅提升AI性能?？蚣苷Z言多元化方面，英特爾除了會支持PyTorch，還將加入對像RISELab的Ray等最新框架的支持。

智能化改造效果顯著

一直以來，英特爾都在與開源社區(qū)用戶，以及多個(gè)合作伙伴和客戶開展廣泛合作，包括京東、UCSF、Mastercard、寶信軟件、世界銀行、Cray等，以構(gòu)建基于Apache Spark的深度學(xué)習(xí) 和人工智能應(yīng)用，而BigDL和Analytics Zoo將端到端的開發(fā)和部署體驗(yàn)更進(jìn)一步。例如在京東，雙方基于Spark和BigDL的深度學(xué)習(xí)技術(shù)在搭建大規(guī)模圖片特征提取框架上進(jìn)行了合作。

京東電商平臺的圖像信息數(shù)以億計(jì)，分布在大規(guī)模的HBase集群中，過去要使用Caffe將訓(xùn)練出來的模型放在GPU集群上，如果想把流水線串聯(lián)起來就要通過人工的方法把數(shù)據(jù)從HBase讀出來后對圖片預(yù)處理，再返回給GPU集群進(jìn)行推理，如此反復(fù)數(shù)次后將得到的數(shù)據(jù)再次手動整合起來，開發(fā)運(yùn)行效率和部署方式都存在問題。

對此，英特爾認(rèn)為應(yīng)該將讀取、處理、神經(jīng)網(wǎng)絡(luò)推理、數(shù)據(jù)處理和存儲等全流程統(tǒng)一到一個(gè)流水線上進(jìn)行，并且可以直接運(yùn)行再大數(shù)據(jù)集群上，進(jìn)而大幅提升端到端的效率?！熬〇|做過測試，當(dāng)他們把原來的方案整體遷移到Spark BigDL這樣一個(gè)完整的流水線上 （基于CPU）之后，端到端的運(yùn)行效率提高了3、4倍?！贝鹘饳?quán)說。

基于BigDL的圖像特征提取

K40和Xeon在圖片特征提取流水線的吞吐量比較

與寶信軟件的合作，雙方則是在深度學(xué)習(xí)的基礎(chǔ)上探索出了設(shè)備智能維護(hù)的新方向。在工業(yè)制造行業(yè)，通常對由設(shè)備失效導(dǎo)致的生產(chǎn)中斷問題，所給出的解決方法是定期檢修維護(hù)或者提前更換設(shè)備零部件，成本居高不下。

在英特爾的幫助下，兩家公司開發(fā)了設(shè)備故障自動預(yù)測的驗(yàn)證模型，該模型基于公開的設(shè)備全生命周期數(shù)據(jù)，利用RNN和LSTM，實(shí)現(xiàn)了時(shí)間序列的異常檢測，可以借助無監(jiān)督深度學(xué)習(xí)和建模對設(shè)備下一時(shí)刻的運(yùn)行健康狀況進(jìn)行預(yù)判，降低了額外的設(shè)備維護(hù)成本。

在和這些行業(yè)客戶聯(lián)合研發(fā)的過程中，英特爾也切實(shí)看到了場景應(yīng)用的痛點(diǎn)所在，那就是盡管企業(yè)在深度學(xué)習(xí)、機(jī)器學(xué)習(xí)的技術(shù)研發(fā)上投入頗多，但怎樣將這些創(chuàng)新融入實(shí)踐環(huán)境，尤其是大規(guī)模的大數(shù)據(jù)生產(chǎn)系統(tǒng)，在軟硬件架構(gòu)的支持和優(yōu)化上存在不小的缺陷，而這一“斷層”就是英特爾致力于去彌合的，方法即是利用開源和軟硬結(jié)合的路徑。

Analytics Zoo與底層硬件的優(yōu)化，并且可與CSP的產(chǎn)品無縫協(xié)作

軟件與開源的新高度

就像英特爾首席架構(gòu)師，英特爾公司高級副總裁兼架構(gòu)、圖形與軟件部門總經(jīng)理Raja Koduri所說的：“對于全新硬件架構(gòu)的每一個(gè)數(shù)量級的性能提升潛力，軟件能帶來超過兩個(gè)數(shù)量級的性能提升?！边@樣的例子比比皆是，戴金權(quán)以Cascade Lake上的VNNI深度學(xué)習(xí)加速指令為例，通過在底層的軟硬件協(xié)同優(yōu)化，可根據(jù)不同DL框架將推理性能加速2-3倍甚至更多。

在英特爾的軟件生態(tài)中，活躍著超過1200萬名開發(fā)者，為了讓開發(fā)者利用通用工具集實(shí)現(xiàn)應(yīng)用性能的指數(shù)級擴(kuò)展，英特爾推出了“One API”項(xiàng)目，以簡化跨CPU、GPU、FPGA、人工智能和其它加速器的各種計(jì)算引擎的編程，該項(xiàng)目包括一個(gè)全面、統(tǒng)一的開發(fā)工具組合，可以將軟件匹配到能最大程度加速軟件代碼的硬件上，從而讓英特爾的計(jì)算架構(gòu)釋放出更高的性能和效率。

戴金權(quán)表示：“無論是基于至強(qiáng)（可擴(kuò)展處理器）的服務(wù)器，還是像Movidius、FPGA，神經(jīng)網(wǎng)絡(luò)處理器，包括將來的獨(dú)立顯卡，都可以通過One API下面的底層生態(tài)系統(tǒng)來給上層的平臺和應(yīng)用所使用?！?/p>

為了讓用戶在x86平臺上獲得更優(yōu)質(zhì)的體驗(yàn)，英特爾一直都在致力于軟件的創(chuàng)新，開源更是英特爾軟件生態(tài)策略的重要體現(xiàn)，不僅對TensorflowPyTorch、MXNet、PaddlePaddle等AI框架進(jìn)行了大量優(yōu)化，自己也開源了BigDL、Analytics Zoo、OpenVINO、MKL-DNN、nGraph等項(xiàng)目，戴金權(quán)本人更是Apache Spark項(xiàng)目的創(chuàng)始委員和項(xiàng)目管理委員會委員、Apache MXNet項(xiàng)目導(dǎo)師。

此外，在前不久的英特爾開源技術(shù)峰會（Intel Open Source Technical Summit，OSTS）上，筆者看到了高性能集成開源軟件棧Deep Learning Reference Stack與企業(yè)分析、分類、識別和數(shù)據(jù)處理工具Data Analytics Reference Stack的發(fā)布，這些都是英特爾為了融合從框架、庫、OS、VM等軟件到硬件平臺優(yōu)化體驗(yàn)所做出的努力。

或許是因?yàn)橛⑻貭栐?a target="_blank">半導(dǎo)體領(lǐng)域的地位過于強(qiáng)勢，外界常常忽視其在軟件和開源領(lǐng)域的成績。事實(shí)上，英特爾擁有超過15000名軟件工程師，軟件布局橫跨數(shù)據(jù)中心基礎(chǔ)設(shè)施、操作系統(tǒng)、產(chǎn)品開發(fā)、ISV、工具/SDK、云計(jì)算、物聯(lián)網(wǎng)、AI、HPC、邊緣計(jì)算等領(lǐng)域。

過去的6個(gè)月時(shí)間里，英特爾在軟件領(lǐng)域取得了數(shù)百項(xiàng)成果，包括從JDK8到JDK9，將現(xiàn)有硬件的性能提升6倍；結(jié)合內(nèi)存層級架構(gòu)，加上軟件棧技術(shù)，通過傲騰+軟件的方式將工作負(fù)載的性能提升8倍；利用DL Boost等架構(gòu)擴(kuò)展，使得從Skylake升級到Cascade Lake之后，相比上一代硬件提速28倍……這一系列的表現(xiàn)若是從硬件的角度看都是數(shù)代的硬件性能提升。

這一切的背后都在印證，軟硬結(jié)合、開源協(xié)作已經(jīng)變得越來越重要。正如戴金權(quán)在采訪中對筆者所說的：“如果想實(shí)現(xiàn)指數(shù)級的增長，必須要硬件和軟件共同創(chuàng)新。軟件社區(qū)和硬件社區(qū)相互交流，并真正去思考彼此的問題，這比以往任何時(shí)候都更加關(guān)鍵?！?/p>