隨著實時服務浪潮逐漸滲透進我們的日常生活，計算基礎設施也開始迎來重大變化。從使用自然語言提供即時型個人智能助手，到通過店面分析生成與客戶購物行為相關的結論信息，各類實時服務的出現(xiàn)給服務供應商帶來了前所未有的巨大市場空間。

為了從這些服務中獲取價值，一大基本前提就是保證數(shù)據(jù)與洞見結論的即時可訪問能力;很明顯，這種能力在很大程度上需要AI技術作為基礎。也正因為如此，Amazon Web Services（AWS）、微軟、阿里巴巴以及SK電信等云服務巨頭都在開發(fā)自己的計算基礎設施，用于提供這類服務方案。

數(shù)據(jù)中心運營商現(xiàn)在也需要優(yōu)化計算以滿足實時響應要求。為此，IT架構不僅要解決持續(xù)快速變化的工作負載與算法需求（主要由AI驅動），同時必須進一步提升計算資源與存儲/網(wǎng)絡資源的集成水平。

這就給服務供應商帶來了新的難題：要求他們提供一套能夠實現(xiàn)差異化優(yōu)勢與卓越性能，同樣具備高吞吐量、低延遲與靈活軟件/硬件堆棧的基礎設施平臺。這套平臺還必須能夠處理從遞歸神經網(wǎng)絡、長期/短期內存網(wǎng)絡、卷積神經網(wǎng)絡以及基于Apache Spark集群計算框架的查詢加速等實際任務。

為了建立起這樣的差異化優(yōu)勢，服務供應商開始自主構建與眾不同的硬件與軟件堆棧。例如，AWS Advanced Query Accelerator就是一套包含定制化軟件與可編程硬件堆棧的數(shù)據(jù)分析平臺。SK電信最近也立足自家定制化軟件與可編程硬件堆棧，開發(fā)出支持AI技術的語音與視頻分析方案。

下一輪計算還需要具備自適應性，將軟件與硬件合并在一處，且硬件與軟件都要擁有可編程性以滿足業(yè)務用例對于實時性能、最高吞吐量以及低延遲/低功耗的要求。隨著實時解決方案的增長與人工智能技術的發(fā)展，工作負載的日益提升以及非結構化數(shù)據(jù)的爆炸式增長，數(shù)據(jù)中心的發(fā)展方向正朝著加速計算、存儲與網(wǎng)絡適應性前進。

實時預測

學術研究人員目前正利用高性能計算（HPC）解決真實世界中存在的各類高復雜度問題。為了加快洞察處理過程與大規(guī)模HPC部署工作，原始計算能力、能源效率與適應性已經成為決定項目最終命運的先決條件。

為了回答世界上最具挑戰(zhàn)性的科學問題之一，歐洲粒子物理實驗室（CERN）約2萬名科學家組成的聯(lián)盟正試圖重現(xiàn)宇宙的起源。為此，研究人員必須不斷突破技術極限。

大型強子對撞機是世界上最大的粒子加速器。總長27公里的環(huán)形隧道由超導磁體組成，可將粒子加速到前所未有的能量水平。每個質子每秒繞隧道運行11000圈，速度接近于光速。環(huán)形隧道上還部署有四個定位點（質子每25納秒經過一次），質子將在這里發(fā)生碰撞。對撞的條件將由粒子探測器捕捉并記錄。

整個觸發(fā)系統(tǒng)分兩層實現(xiàn)——第一層觸發(fā)要求AI技術在約3微秒周期內完成事件處理，這對其推理延遲提出了極高的要求。至于第二層，自然是大量的數(shù)據(jù)傳輸帶寬。

CPU與GPU根本無法滿足這樣的要求。因此，研究人員在地下100米深、且不受輻射區(qū)影響的位置構建起一套用于運行分析算法的FPGA網(wǎng)絡。該算法旨在即時過濾生成的數(shù)據(jù)并識別新型亞粒子結構，借此證明暗物質的存在乃至其他重要物理現(xiàn)象。這些FPGA將同時運行經典與卷積神經網(wǎng)絡，負責接收并校準傳感器數(shù)據(jù)、執(zhí)行跟蹤與聚類、運行機器學習對象識別并觸發(fā)功能——所有操作都需要在事件數(shù)據(jù)的格式化與交付之前完成。結果就是，這套網(wǎng)絡帶來了極低的推理延遲（約100納秒）。

為實時分析提供存儲支持

高速存儲方案的采用，以及現(xiàn)實用例對于數(shù)據(jù)密集型應用程序的更高性能要求，已經令現(xiàn)有CPU、內存與存儲淪為瓶頸。為此，研究人員的探索重點由計算能力轉向通過計算存儲完成數(shù)據(jù)處理。這樣的轉變，也給應用程序性能與基礎設施整體效率帶來了深遠影響。

最可行的解決方案，自然是盡可能縮小計算與數(shù)據(jù)間的距離。將數(shù)據(jù)分析與存儲集成在一起，能夠極大減少系統(tǒng)層面的數(shù)據(jù)瓶頸、提高并行度，同時降低總體功耗水平。這種方法也得到IBM及美光科技等廠商的支持，他們據(jù)此開發(fā)出加速存儲與計算存儲產品，保證一切處理方案緊緊圍繞在數(shù)據(jù)周邊。三星電子還推出SmartSSD，將閃存作為主干建立高性能加速計算體系，借此克服CPU與內存帶來的限制。通過將智能元素推送至數(shù)據(jù)所在的位置，三星SmartSSD成功提高了速度與效率，同時降低了運營成本。

復雜網(wǎng)絡

隨著虛擬化計算與容器化工作負載的出現(xiàn)，網(wǎng)絡也變得越來越復雜。在將這些環(huán)境擴展到單一服務器之外時，我們必須與其匹配復雜的覆蓋網(wǎng)絡。覆蓋網(wǎng)絡的本質，屬于通過分組封裝概念動態(tài)創(chuàng)建并維護的虛擬化系統(tǒng)。對這種封裝進行監(jiān)管，必然會增強操作系統(tǒng)或虛擬化內核的處理負擔。在與傳統(tǒng)網(wǎng)絡任務配合使用時，這類方案會直接消耗掉近30%的服務器原始CPU周期。

目前比較常見的覆蓋網(wǎng)絡管理方法當屬vSwitch（OvS）協(xié)議?；贔PGA的SmartNIC（網(wǎng)卡）能夠把這近30%的計算負擔從主機CPU轉移到自身之上。簡而言之，三臺配備OvS協(xié)議SmartNIC的服務器，足以提供等同于四臺配備標準網(wǎng)卡的服務器的計算能力。

基于FPGA的SmartNIC還能顯著降低服務器CPU在執(zhí)行安全與加密任務時面臨的計算負擔。目前的安全保障方案通常采取深度數(shù)據(jù)包檢查的形式;一旦發(fā)現(xiàn)數(shù)據(jù)包中存在威脅，則將該數(shù)據(jù)包丟棄。這種方法能夠增強甚至徹底取代企業(yè)在服務器上運行的傳統(tǒng)防火墻軟件。另外，SmartNIC也可以輕松承擔起各類加密與解密任務。

新的世界，新的秩序

在實時服務新時代之下，考慮到成本、功耗以及純CPU的擴展能力等各類限制性條件，單純使用CPU或者多核心CPU來滿足業(yè)務需求早已不具備可行性。對于大多數(shù)復合型工作負載而言，單純投入更多服務器CPU已經永遠無法帶來必要的性能表現(xiàn)。

隨著摩爾定律的逐步終結，下一代CPU恐怕也無法解決這些實際問題。因此，自適應計算加速器將成為一種可行的解決方案，有望在滿足廣泛計算需求的同時，極大提高擴展能力以幫助企業(yè)控制運營成本。