風險資本家馬特·圖爾克（Matt Turck）最近發(fā)布文章，能力越大，責任越大，介紹了大數(shù)據(jù)與人工智能在2018年發(fā)展的趨勢，并發(fā)布了全景圖，涵蓋基礎架構、開源框架、公司等，一圖囊括AI和大數(shù)據(jù)的發(fā)展趨勢。

馬特·圖爾克（Matt Turck），美國知名早期投資機構FirstMark的董事總經(jīng)理，此前以早期成功投資Pinterest、Shopify、Airbnb、Riot Games、InVision和Tapad等超級獨角獸而著稱。

馬特還是紐約乃至美國知名的技術趨勢“布道者”，他發(fā)起組織了2大新趨勢分享社區(qū)，一個圍繞大數(shù)據(jù)和人工智能，名為Data Driven NYC；另一個圍繞前沿技術和新興計算平臺，叫Hardwired NYC。

2018人工智能&大數(shù)據(jù)全景圖

全景圖涵蓋了大數(shù)據(jù)人工智能行業(yè)的基礎架構、開源框架、數(shù)據(jù)API、數(shù)據(jù)資源、跨基礎結構分析、工業(yè)應用、企業(yè)應用、分析工具等，涵蓋有1095家大數(shù)據(jù)公司被納入全景圖。

出現(xiàn)在全景圖的一些關鍵公司上市了，尤其是Cloudera、MongoDB Pivotal和Zuora。在撰寫本文時，其他的正在準備上市，比如Elastic。

2018年人工智能大數(shù)據(jù)發(fā)展趨勢

2018 年，是數(shù)據(jù)世界中激動人心但又復雜多變的一年。一方面，數(shù)據(jù)技術（大數(shù)據(jù)、數(shù)據(jù)科學、機器學習、人工智能）繼續(xù)發(fā)展，變得越來越高效，在世界各地企業(yè)也得到了廣泛的應用。到目前為止，2018 年企業(yè)界的關鍵主題之一是“數(shù)字化轉(zhuǎn)型”，這絕非偶然。這個詞語對有些人來說可能有點奇怪，他們會嘀咕：這難道不是過去 25 年來一直發(fā)生的事兒嗎？但它恰恰反映出一個事實：許多傳統(tǒng)的行業(yè)和企業(yè)現(xiàn)在正全力投入到真正的數(shù)據(jù)驅(qū)動之旅。另一方面，更廣泛的公眾群體已經(jīng)意識到數(shù)據(jù)的缺陷。無論是通過關于人工智能風險的公開辯論、劍橋分析公司(Cambridge Analytica)丑聞、大規(guī)模的Equifax數(shù)據(jù)泄露、與gdp相關的隱私討論，還是有關中國政府監(jiān)控活動日益增多的報道，數(shù)據(jù)世界已開始暴露出一些更陰暗、更可怕的隱患。

1）基礎設施和分析工具

從行業(yè)的角度來看，數(shù)據(jù)生態(tài)系統(tǒng)仍然像以往一樣令人興奮和充滿活力，擁有豐富的創(chuàng)新初創(chuàng)企業(yè)、成熟的“規(guī)模擴展”，以及許多積極的公共技術供應商。最重要的是，許多大大小小的客戶都在大規(guī)模地應用這些技術，并從他們的努力中獲得不可否認的價值。

隨著用更現(xiàn)代的數(shù)據(jù)產(chǎn)品替代舊的IT技術的循環(huán)繼續(xù)，大數(shù)據(jù)市場(基礎設施、分析)似乎正在快速地在早期的大多數(shù)買家中循環(huán)，并逐漸過渡到傳統(tǒng)采用曲線的晚期。

此外，數(shù)據(jù)世界繼續(xù)朝著云的方向發(fā)展?？紤]到大型公共云服務提供商(AWS、Azure、谷歌云平臺、IBM)的增長速度，每個季度都能產(chǎn)生數(shù)十億美元的收入，這真是令人震驚。這一趨勢引發(fā)了對供應商鎖定的持續(xù)關注，這可能為提供多云解決方案的初創(chuàng)公司提供機會。然而，到目前為止，采用多云策略的公司仍然傾向于依賴一個供應商作為他們的主要提供者。

隨著他們的業(yè)務不斷發(fā)展，大型云提供商通過其平臺（如 Amazon Neptune、Google AutoML 等）提供一系列廣泛的大數(shù)據(jù)、數(shù)據(jù)工程和機器學習工具，通常都制定了激進的定價策略，因而相互競爭越來越激烈，這一切都是為了吸引更多的開發(fā)者，因為他們真正的商業(yè)模式是數(shù)據(jù)存儲。隨著此類工具的范圍和成熟度不斷提高，這對數(shù)據(jù)技術領域產(chǎn)生了重大影響，可以說，初創(chuàng)企業(yè)更難與之競爭，至少在廣闊的、橫向的機遇面前就是如此。每年在大型云供應商會議上發(fā)布的產(chǎn)品公告列表（如 AWS re:Invent）會給初創(chuàng)企業(yè)帶來巨大的沖擊波，因為他們將云供應商與數(shù)十家風投支持的初創(chuàng)企業(yè)直接競爭?？纯垂娛袌鋈绾螒獙磳⒌絹淼?Elastic（一家開源軟件企業(yè)）IPO 將是一件有趣的事。

然而，只要初創(chuàng)企業(yè)有足夠的差異化，他們還是有很多機會的。在這個領域中，很多企業(yè)都在快速擴展，在生態(tài)系統(tǒng)的基礎設施和分析部分中有許多特別有趣、快速增長的部分，包括流 / 實時、數(shù)據(jù)管控和數(shù)據(jù)結構 / 虛擬化。人們對人工智能的興趣激增，也帶來了在人工智能芯片、GPU 數(shù)據(jù)庫、人工智能 DevOps 工具以及能夠在企業(yè)中部署數(shù)據(jù)科學和機器學習的平臺上的巨大機遇，以及大量資金。

2）機器學習和人工智能

在人工智能研究領域，這無疑是瘋狂的一年，從 AlphaZero 的威力到新技術發(fā)布的驚人速度——生成對抗網(wǎng)絡的新形式，替代型的遞歸神經(jīng)網(wǎng)絡，Geoff Hinton 的新膠囊網(wǎng)絡。像 NIPS 這樣的人工智能會議已經(jīng)吸引了 8000 人，每天都有成千上萬的學術論文提交。

與此同時，對 AGI 的追求仍然難以捉摸，這也許是值得謝天謝地的事兒。目前人們對人工智能的興奮和恐懼，大部分源于 2012 年以來令人印象深刻的深度學習表現(xiàn)，但在人工智能研究領域中，有一種情緒在人們中日益彌漫開來：“接下來怎么辦？”因為有些人質(zhì)疑深度學習的基礎（反向傳播），而其他一些人希望能夠超越他們所認為的“蠻力”方法（大量數(shù)據(jù)、大量算力），或許更傾向于采用更多基于神經(jīng)科學的方法。

在人工智能研究領域，許多人非但不擔心機器人主宰世界，反而擔心，該領域持續(xù)的過度炒作可能最終會讓人失望，并導致另一個人工智能核冬天的到來。

然而，在人工智能研究之外，我們正處于一波深度學習在現(xiàn)實世界中的部署和應用浪潮的開端，涉及不同行業(yè)的語音識別、圖像分類、對象識別和語言等各種問題。如果說生態(tài)系統(tǒng)的基礎設施和分析部分已經(jīng)發(fā)展到后期的大多數(shù)，那么對于企業(yè)和垂直人工智能應用來說，我們?nèi)匀皇欠浅Ｔ缙诘南闰?qū)者。

盡管人工智能初創(chuàng)市場可以說已經(jīng)顯示出最終降溫的跡象，但以深度學習為基礎的初創(chuàng)企業(yè)在一兩年前開始暴增的情況依然在繼續(xù)。整體規(guī)模和估值的期望仍然很高，但 我們肯定已經(jīng)經(jīng)過了這樣一個階段：大型互聯(lián)網(wǎng)企業(yè)會為了人才而高價收購早期人工智能初創(chuàng)企業(yè)。 與其他一些利用這種炒作的企業(yè)相比，市場中也出現(xiàn)了一些“真正”的人工智能初創(chuàng)企業(yè)。在 2014~2016 年期間成立的一些人工智能初創(chuàng)企業(yè)正開始初具規(guī)模，許多企業(yè)在醫(yī)療、金融、“工業(yè) 4.0”和后臺辦公自動化等跨行業(yè)和垂直領域提供越來越有趣的產(chǎn)品。在未來的幾年里，深度學習將繼續(xù)為現(xiàn)實世界的應用帶來巨大的價值，而專注于垂直方向的人工智能初創(chuàng)企業(yè)將面臨許多巨大的機遇。

這種持續(xù)的爆炸在很大程度上是一個全球現(xiàn)象，加拿大、法國、德國、英國和以色列都特別活躍。然而，中國在人工智能方面似乎處在一個完全不同的水平，有報道稱，政府主導的數(shù)據(jù)匯集規(guī)模令人難以置信（跨越了互聯(lián)網(wǎng)企業(yè)和市政當局），面部識別和人工智能芯片等領域的迅速發(fā)展，以及為初創(chuàng)企業(yè)提供數(shù)輪巨額融資：根據(jù) CB Insights 的數(shù)據(jù)，中國僅占全球人工智能交易份額的 9%，但 2017 年在全球人工智能資金的比例接近 48%，高于 2016 年的 11%（見下面的一些例子）。

同樣，數(shù)據(jù)隱私（以及所有權和安全性）問題也正成為全球關注的主要問題。在互聯(lián)網(wǎng)發(fā)展的早期，數(shù)據(jù)隱私是為了保護我們在網(wǎng)上所做的事情，這是我們活動中相對較小的一部分。相應地，只有一小部分人真正在乎數(shù)據(jù)隱私的問題。隨著我們個人和職業(yè)生活的方方面面都通過越來越多的聯(lián)網(wǎng)設備連接到互聯(lián)網(wǎng)上，利害關系正在發(fā)生變化。人工智能能夠在大量數(shù)據(jù)集中發(fā)現(xiàn)異常、預測結果和識別人臉，這使數(shù)據(jù)隱私問題變得更加復雜。

另一個獨立但相關的問題是，這些數(shù)據(jù)中有很多都屬于大型互聯(lián)網(wǎng)企業(yè) (GAFA) 所有。有些企業(yè)，比如 Facebook，已經(jīng)被證明不是完美的管理者。盡管如此，這些數(shù)據(jù)為他們在生產(chǎn)更強大人工智能的競爭中提供了不公平的優(yōu)勢。

針對這些問題，一個新興的主題是把區(qū)塊鏈看作是對抗人工智能風險的一種可能的方式，同時也是在 GAFA 之外的企業(yè)生產(chǎn)更為出色的人工智能的另一種方式。加密經(jīng)濟被視為一種激勵個人提供個人數(shù)據(jù)的方式，也是機器學習工程師通過匿名處理這些數(shù)據(jù)建立模型的一種方式。這一切仍處于試驗階段，但一些早期的市場和網(wǎng)絡正在出現(xiàn)。