通訊科技的進步與普及,帶動智能手機的發(fā)展,使得人們可隨時隨地將圖片或視頻上傳到影音網站,而高解析度顯示技術的發(fā)展,使得影音片段所須儲存的數(shù)據量增加,加上近距離通訊將移動物件的數(shù)據傳輸便利化等,在在讓全球數(shù)位數(shù)據量呈現(xiàn)快速成長。
另一方面,云計算(Cloud Computing)技術將分散于各地數(shù)據中心的資源加以動態(tài)組合形成服務,提供給數(shù)百億的資通訊設備如手機、聯(lián)網電視和電腦等,更讓散布于全球各地的數(shù)據聚合而成數(shù)位宇宙(Digital Universe)。
數(shù)據量大爆炸 Big Data商機起飛
市場調查機構IDC指出,數(shù)位宇宙數(shù)據量自2005-2020年將成長三百倍,由2005年的130艾位元組(Exabytes,相當于109Gigabytes)激增至2020年的40,000艾位元組,相當于每年數(shù)據量成長兩倍。
數(shù)位宇宙如此多元與龐大的數(shù)據量,如何連結與產生有效益的資訊,成為近年來資通訊技術與產業(yè)發(fā)展的主要議題;大數(shù)據(Big Data)技術遂于2012年繼云計算技術后,成為資訊產業(yè)界最熱門的話題。
IDC定義大數(shù)據技術為運用高速擷取、發(fā)現(xiàn)或分析技巧于各式各樣型態(tài)的龐大數(shù)據中,以經濟的方式萃取出價值的新一代資訊技術與架構。IDC分析師認為大數(shù)據應具有三個主要特點,分別為數(shù)據本身、分析推論,以及分析結果的表達方式,之后才能由它們組合延展為產品和服務。
市場研究機構Transparency Market Research研究報告預測,未來5年內全球大數(shù)據技術市場規(guī)模,將由2012年的63億美元成長至2018年的483億美元,年復合成長率為 40.5%;該報告亦指出2012年全球60%以上的大數(shù)據市場由惠普(HP)、Teradata、Opera Solutions、Mu Sigma及Splunk等五家公司主導。
大數(shù)據的發(fā)展使得傳統(tǒng)占有商業(yè)智能(Business Intelligence)市場的大型廠商如SAP Business Objects、IBM Cognos、Oracle OBIEE和MicroStrategy,在2012年的市占率被壓縮,一般認為商業(yè)智能的需求于未來將更多角化,更多新創(chuàng)公司會貢獻創(chuàng)新的作法。
大數(shù)據興起 全球IT資本支出走揚
Gartner市場研究機構分析,大數(shù)據的特性為數(shù)據集的產出量、產出樣式與復雜度及產出速度,遠大于超過一個機構以往所面對及處理的數(shù)據,亦簡稱為3Vs特性(Volume、Variety、Velocity)。
Gartner指出,目前全球于大數(shù)據的資本支出,主要需求來自于將傳統(tǒng)的IT解決方案轉為需要大數(shù)據技術的IT方案,這些需求來自于機器產生的數(shù)據、社交數(shù)據、過于多樣式的數(shù)據,以及無法預測產生速率的數(shù)據。大數(shù)據技術未來將為全球IT資本支出的新驅動力,并逐漸改變傳統(tǒng)的資訊管理實務與技術。
大數(shù)據呈現(xiàn)的數(shù)據格式,目前大多以影音、文字和數(shù)值等為主,樣式可為結構化或非結構化,輸入模式可為串流或批次。除企業(yè)擁有的商務與公開數(shù)據外,因為企業(yè)可運用收集和分析消費者資訊的創(chuàng)新資源增多,使得大數(shù)據技術的應用將更加廣泛,更多連續(xù)性數(shù)據的來源包含如量測設備所產生的數(shù)據、射頻辨識系統(tǒng) (RFID)傳感事件、社群網路的訊息、氣象與天文數(shù)據、監(jiān)控與傳感數(shù)據、移動設備所產生與位置相關的數(shù)據流等。大數(shù)據技術因全球積極推動的物聯(lián)網 (IoT)、智能電網(Smart Grid)和智能城市(Smart City)等重點應用領域,在2012-2018年間,大多數(shù)的數(shù)據不再是由人產生,而是由具備資通訊功能的物件如交通工具、生產設備和家電等之間的互動產生。
IDC統(tǒng)計顯示,目前全球所有的數(shù)據約只有千分之五曾被分析過。大數(shù)據技術未來幾年中仍將在商業(yè)智能應用為發(fā)展主流,雖然目前它依然是新興且尚未發(fā)展成熟的概念。Gartner市場調查機構預測,至2015年大數(shù)據將創(chuàng)造全球四百四十萬人的就業(yè)機會,用以解決目前大數(shù)據數(shù)據分析師與軟體工具的龐大缺口問題。
2012年為數(shù)不少的美國大型公司轉為使用大數(shù)據軟體平臺Hadoop與叢集計算架構來執(zhí)行企業(yè)內部大量數(shù)據應用,許多美國資服業(yè)者亦將支援Hadoop功能整合至他們的分析與儲存軟體解決方案。
大數(shù)據分析平臺廠商Alteryx總經理George Mathew認為,2013年由于使用云端平臺的服務成長,當越來越多組織開始使用平價合理的云端服務商業(yè)模式,企業(yè)將會分析應用轉換至云端服務平臺來執(zhí)行,以云端平臺來提供使用者存取、分享與收集分析資訊的軟體工具將越來越多。
除商務智能外,2012年大數(shù)據技術也被應用于運動、健康照護等領域。由于擁有過去所累積的各類運動數(shù)據紀錄,運動愛好者可藉由分析找出他們最喜歡的球員和運動的資訊。體育精算師John Dewan就運用大數(shù)據結合奧運模擬軟體,預測美國在2012年的夏季奧運會將得到一百零八面獎牌,而美國最后得到一百零四面。
在技術發(fā)展上,Google的MapReduce分散式平行計算架構亦為大數(shù)據處理的重要軟體工具。雖然MapReduce結合Hadoop平臺的解決方案已完成,但Hadoop的研發(fā)社群似乎不太重視此一方案的成長性。據推測,Hadoop社群將研發(fā)重點聚焦于以Hadoop平臺的分散式特性,提供支援即時處理和其他新的功能,讓Hadoop更適合下一代數(shù)據處理應用,而這些新功能已被其他平臺解決方案如Storm、Druid列為研發(fā)要點。
目前有許多新創(chuàng)公司如Continuuity、Infochimps和Precog等,以讓應用開發(fā)者可存取到大數(shù)據的發(fā)展策略進行技術擴展。另一個發(fā)展方式則為選擇利基應用,如使用者行為分析、網路安全、人工智能和客戶服務等使用情境做為開發(fā)標的,進而將使用案例轉為服務或產品,運用此一模式的業(yè)者包括Google、臉書(Facebook)等自身擁有大數(shù)據的公司。
2013年大數(shù)據技術發(fā)展的熱門應用領域為移動商務智能、物聯(lián)網和機器學習等,須要垂直整合的應用領域則為能源、公用事業(yè)、健康照護和人力資源等。在技術面,則以取得與合併數(shù)據的技術、降低初始分析因數(shù)據不足的失敗率(Start-Up Failure)、增加預測精確度與新平臺的研發(fā)為主要發(fā)展趨勢。下面將以幾個案例,來說明相關技術如何運用于各應用領域。
善用智能分析工具 用戶移動商務經驗提升
由于智能移動設備的成長與滲透率提高,智能移動設備內建多種傳感元件,例如影像傳感器、衛(wèi)星定位、加速度計和高度計,使得服務營運商可自智能移動設備即時取得使用者資訊,例如定位數(shù)據、移動方向、興趣點和交易數(shù)據的方式增多,移動商務智能的獲得,將促使營運商投資大數(shù)據分析軟體與平臺建置。
移動商務智能分析須融合使用者、智能移動設備與環(huán)境等多方資訊,才能有效地由巨量的使用者資訊中萃取出商業(yè)價值,探勘使用者于移動環(huán)境中所需服務及偏好成為價值萃取的標的,運用此價值資訊將協(xié)助服務營運商提供最適合的資訊與服務給使用者,進而提升使用者使用移動商務的經驗并增進服務商獲利能力。
舉例而言,以位置為基礎的移動商務智能分析技術,可透過多種位置資訊的傳感方式來收集混合的移動軌跡數(shù)據,并增加只運用單一位置資訊傳感方式的定位精度軌跡探勘精確度。研發(fā)自動叢集多源定位的移動軌跡數(shù)據,來改善定位精度容錯范圍,以提升軌跡可探勘率為此類應用的基礎技巧,但于技術應用面須進一步考量消費者、廣告商及平臺商各自的商業(yè)利益,延展出具有三贏功效的軌跡樣式探勘處理技術,才能提升移動服務推薦滿足率及成交效益,創(chuàng)造大數(shù)據技術的市場價值。
除以定址服務(LBS)為商務智能分析的主要發(fā)展趨勢外,另一個值得關注的發(fā)展為社群資訊服務。2012年美國運用巨量連續(xù)的社群串流資訊,即時自動發(fā)現(xiàn)所含的熱門議題資訊,用以成功阻止流感的擴散。
2013年以社群串流資訊結合大數(shù)據分析技術的應用持續(xù)增加,巨集大量短訊息數(shù)據的微網誌(Microblog)社群網路平臺如Twitter、 Plurk和微博等,成為許多廠商尋找大數(shù)據商機之處。透過微網誌,使用者可發(fā)布關于自己的日常生活瑣事,以及分享每天所遭遇到的事情,亦能即時了解朋友的近況動態(tài)等。
此大數(shù)據分析技術的重點為當微網誌短訊息快速、連續(xù)性產生時,仍可即時處理串流訊息分群以進行議題偵測,包括如何自動偵測最新出現(xiàn)的熱門關鍵字,以及解決串流文字訊息概念漂移(Concept-Drift)的問題,并即時群聚串流文字短訊以偵測未知數(shù)量議題與事件。萃取出的情報資訊將可應用于新產品市場意見回饋、客戶關係管理(Customer Relation Management, CRM)、民意調查和災情追蹤等領域,以提供市場行銷決策參考依據。
聯(lián)網電視、移動與社群等服務結合云端計算技術的快速發(fā)展,將商務資訊匯流至服務平臺,有助于虛實整合O2O(Online to Offline)電子商務服務業(yè)者的發(fā)展。O2O將實體世界的商務發(fā)展和資通網路結合,讓資通網路成為商務交易的前臺。
換言之,O2O模式主要的精神是透過資通訊技術尋找消費者,然后將他們帶到實體商店中。圖1為運用數(shù)種即時巨量商務數(shù)據分析技術形成O2O商務系統(tǒng)平臺,分析平臺解析巨量且異質的消費者與店家數(shù)據,將適切的服務推薦至使用者來提升商務效益。同時,更貼近使用者個人化需求的服務,將隨著大數(shù)據技術的發(fā)展更加完善。
圖1 巨量商務分析技術于O2O商務應用 數(shù)據來源:工研院南分院云服中心整理
大數(shù)據收集有彈性 環(huán)境分析應用計劃開跑
在數(shù)據收集技術與新興大數(shù)據應用方面,IBM自2009年起,在數(shù)據較缺乏的領域如健康照護與環(huán)境應用,展開數(shù)據收集與建立的投資,其中包含與 Marine Institute Ireland合作進行對海洋中海浪、污染和海產生命等數(shù)據即時監(jiān)控與收集的「SmartBay Calway」先導計劃。
該計劃將收集到的巨量監(jiān)控數(shù)據加以分析提供服務,并以Web或其他智能通訊設備傳遞給使用者,將數(shù)據多元提供不同領域的應用,此計劃數(shù)據收集與提供如圖2所示。
圖2 SmartBay Calway監(jiān)控數(shù)據收集示意圖 數(shù)據來源:John Kennedy--Silicon Republic
自動化數(shù)據收集及設備管理應用的技術實施,主要由數(shù)據收集與服務傳遞的閘道器,以及內建于傳感器的數(shù)據處理軟體元件組成。在養(yǎng)殖應用案例上,布建于養(yǎng)殖水域的環(huán)境傳感器,將傳感到的水質溫度值、酸鹼值及溶氧值等數(shù)據數(shù)據,透過有線或無線通訊技術,將資訊傳送至后端的傳感數(shù)據收集閘道器。傳感數(shù)據收集閘道器解析各項水質環(huán)境資訊后,再依據場域環(huán)境,透過適切的通訊方式傳送環(huán)境數(shù)據至養(yǎng)殖應用平臺儲存。
為多元應用的數(shù)據存取便利與設備互通性,在系統(tǒng)實施面的設計上可採用OSGi開放式服務閘道器技術,系統(tǒng)架構如圖3所示,OSGi技術允許任意加入及刪除傳感器設備,如場域管理者欲新增/刪除監(jiān)控水質項目,僅須布建/移除傳感器與實作安裝/反安裝相對應傳感軟體元件,此技術提供易于修改與擴展,以及降低系統(tǒng)維護成本的優(yōu)點。
圖3 養(yǎng)殖數(shù)據收集案例
加入大數(shù)據分析 再生能源市場接受度高
在新興能源應用方面,智能電網與再生能源的推動,為全球現(xiàn)今積極發(fā)展的技術,智能電網運用整合型通訊與新控制技術,讓電網效益與效率發(fā)揮。歐美已有許多能源服務公司(ESCO),透過能源監(jiān)控數(shù)據的收集與大數(shù)據技術,并結合云端服務來強化太陽能發(fā)電效益及公司的營運,其中美國能源服務公司 SolarCity于2012年上市籌資,成功擴展此類營運的經濟規(guī)模。
由于一般民眾對太陽能發(fā)電系統(tǒng)相關的建置資訊與投資報酬率的了解程度不深,因此須要藉由太陽能監(jiān)控技術來強化相關資訊的曝光率,并建構更普及的接受度。如 SolarCity的系統(tǒng)營運商更有賴于太陽能監(jiān)控管理系統(tǒng)的開發(fā),來降低營運成本與提高維運效率,并能主動提供系統(tǒng)異常塬因與性能衰煺預警,提供業(yè)界託管服務。
目前較成熟的太陽能發(fā)電與監(jiān)控系統(tǒng),可由圖4來說明。一般的太陽能監(jiān)控系統(tǒng)為使用者集中管理的方便性,并考量乙太網路已是目前物聯(lián)網最為廣泛的數(shù)據傳遞媒介,通常採用一組于發(fā)電轉換器(Inverter)至網路介面(ADSL Modem)之間的協(xié)定轉換器(Bus Adapter),將太陽能的發(fā)電狀態(tài)透過網際網路(Internet)傳遞至遠端的中央控管伺服器,讓使用者可透過個人電腦或主機來觀測太陽能發(fā)電的狀態(tài)。
圖4 太陽能發(fā)電與監(jiān)控系統(tǒng)
在云端化管理平臺部分,通常使用Hadoop云端平臺軟體,將該軟體分散建置于數(shù)臺實體機器,并于Hadoop云端平臺上開發(fā)太陽能監(jiān)控管理服務,結合遠端監(jiān)控及云端服務達到即時且長期監(jiān)控的效果。此外,透過云端技術與移動應用程式(App)的結合,使用者可經由隨身設備隨時地監(jiān)控整個系統(tǒng)。
透過分析來自太陽能監(jiān)控管理系統(tǒng)的大數(shù)據,將可提供許多有效資訊,這些資訊包含能源比例調整最佳化(依據發(fā)電效率、成本、其他替代能源種類/成本,做為系統(tǒng)發(fā)電成本最佳的規(guī)劃)、系統(tǒng)大小配置仿真功能(依據欲建置的場域大小與發(fā)電量,模擬建置發(fā)電系統(tǒng)設備的規(guī)模)、能源使用概況(模擬太陽能系統(tǒng)發(fā)電期間的使用概況,可提供投資者有效追蹤與管理發(fā)電系統(tǒng)的發(fā)電效能),以及綜合財務分析(提供投資者成本回收推估、費率結構比較和銷售價格預訂等項目)。
大數(shù)據技術已開始運用于更多的領域,用以發(fā)現(xiàn)更多數(shù)據的精華價值,而它卻只是新一代數(shù)據管理技術的開端。未來,將有更多的公司將更深一層的去思考如何由他們擁有的數(shù)據資產中發(fā)現(xiàn)價值,或連結公開的數(shù)據來創(chuàng)造價值,而管理大數(shù)據的創(chuàng)新演算法與軟體,將成為IT業(yè)者競爭的戰(zhàn)場。
評論