在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的商業(yè)世界中，能夠快速處理和分析大量數(shù)據(jù)的能力變得越來(lái)越重要。而存內(nèi)計(jì)算開發(fā)環(huán)境在此領(lǐng)域發(fā)揮其關(guān)鍵作用。存內(nèi)計(jì)算環(huán)境利用內(nèi)存（RAM）而非傳統(tǒng)的磁盤存儲(chǔ)來(lái)加速數(shù)據(jù)處理，提供了一個(gè)高效和靈活的平臺(tái)。這種環(huán)境的核心優(yōu)勢(shì)在于其能夠提供極高的數(shù)據(jù)處理速度和效率，使得數(shù)據(jù)可以直接在內(nèi)存中被快速訪問(wèn)和處理，這對(duì)于需要實(shí)時(shí)數(shù)據(jù)處理和分析的應(yīng)用來(lái)說(shuō)至關(guān)重要。

在了解存內(nèi)計(jì)算開發(fā)環(huán)境的核心優(yōu)勢(shì)和作用后，我們現(xiàn)在將轉(zhuǎn)向?qū)崿F(xiàn)存內(nèi)計(jì)算技術(shù)潛力的關(guān)鍵：存內(nèi)計(jì)算生態(tài)環(huán)境的搭建以及軟件開發(fā)的具體細(xì)節(jié)。它們不僅為存內(nèi)計(jì)算應(yīng)用的開發(fā)和運(yùn)行提供必要的基礎(chǔ)，也是實(shí)現(xiàn)高效數(shù)據(jù)處理和分析的關(guān)鍵組成部分。

一．存內(nèi)計(jì)算環(huán)境搭建

（一）背景介紹

存內(nèi)計(jì)算環(huán)境搭建是一種高效的數(shù)據(jù)處理方法，它涉及在計(jì)算機(jī)內(nèi)存中配置和管理數(shù)據(jù)及應(yīng)用程序，以提高數(shù)據(jù)處理和計(jì)算的速度。存內(nèi)計(jì)算環(huán)境的搭建對(duì)于高效軟件的開發(fā)至關(guān)重要。首先，它提供了快速的數(shù)據(jù)訪問(wèn)和處理能力，從而顯著減少了數(shù)據(jù)處理時(shí)間，這對(duì)于實(shí)時(shí)數(shù)據(jù)分析和在線事務(wù)處理尤為重要。此外，存內(nèi)計(jì)算支持大數(shù)據(jù)和復(fù)雜應(yīng)用的處理，滿足了現(xiàn)代軟件開發(fā)對(duì)于處理大量數(shù)據(jù)的需求。同時(shí)，它還能簡(jiǎn)化應(yīng)用架構(gòu)，提高開發(fā)效率。

此外，在搭建存內(nèi)計(jì)算環(huán)境時(shí)，關(guān)鍵的硬件和軟件是不可或缺的。硬件方面，需要足夠的RAM來(lái)存儲(chǔ)數(shù)據(jù)集和支持計(jì)算過(guò)程。軟件方面，則涉及選擇支持存內(nèi)計(jì)算的數(shù)據(jù)庫(kù)和應(yīng)用平臺(tái)，如SAP HANA、Apache Spark等。不僅如此，還需制定有效的數(shù)據(jù)管理策略，實(shí)施性能優(yōu)化措施，并考慮安全性與數(shù)據(jù)備份方案，以及潛在的集群及分布式計(jì)算的布局。

（二）研究現(xiàn)狀

存內(nèi)計(jì)算環(huán)境搭建的主流方法和策略包括集成處理器技術(shù)、數(shù)據(jù)管理和流程優(yōu)化等。存內(nèi)計(jì)算環(huán)境的搭建重點(diǎn)關(guān)注存儲(chǔ)設(shè)備內(nèi)部的集成計(jì)算能力，這通常通過(guò)在存儲(chǔ)設(shè)備中嵌入微處理器或定制硬件來(lái)實(shí)現(xiàn)。這些處理器可以直接在數(shù)據(jù)存儲(chǔ)的位置進(jìn)行數(shù)據(jù)處理任務(wù)，大大減少了數(shù)據(jù)在存儲(chǔ)單元和中央處理單元之間的移動(dòng)，提高了數(shù)據(jù)處理的速度和效率。其次，在軟件層面，存內(nèi)計(jì)算環(huán)境需要配備能夠支持這種硬件架構(gòu)的操作系統(tǒng)和文件系統(tǒng)，例如GenStore（圖1），其是專門為基因組序列分析設(shè)計(jì)的存內(nèi)處理系統(tǒng)[1]。這些系統(tǒng)需要智能地管理數(shù)據(jù)，將計(jì)算密集型的任務(wù)分配到最合適的存儲(chǔ)設(shè)備上。此外，還需開發(fā)專門的算法和工具，以優(yōu)化數(shù)據(jù)的存儲(chǔ)和檢索過(guò)程，確保計(jì)算任務(wù)的高效執(zhí)行。

圖1 GenStore的概述

在實(shí)用工具和平臺(tái)方面，市場(chǎng)上已經(jīng)有多種支持存內(nèi)計(jì)算的產(chǎn)品和解決方案。例如，某些高性能固態(tài)硬盤（SSD）已經(jīng)集成了額外的處理能力，能夠在設(shè)備級(jí)別進(jìn)行數(shù)據(jù)處理。同時(shí)，一些軟件提供商也開發(fā)了專門的工具和平臺(tái)，以支持存內(nèi)計(jì)算，使得用戶可以更容易地實(shí)現(xiàn)和管理這種計(jì)算模型。例如，在大數(shù)據(jù)分析領(lǐng)域，某些企業(yè)利用存內(nèi)計(jì)算來(lái)處理大規(guī)模的數(shù)據(jù)集，通過(guò)在存儲(chǔ)設(shè)備內(nèi)部進(jìn)行初步的數(shù)據(jù)處理，降低了對(duì)傳統(tǒng)CPU的依賴，加快了整個(gè)數(shù)據(jù)分析過(guò)程。

（三）環(huán)境搭建對(duì)軟件開發(fā)的影響

搭建存內(nèi)計(jì)算環(huán)境對(duì)軟件開發(fā)的影響是深遠(yuǎn)的，尤其在提升軟件的性能和效率方面。

首先，存內(nèi)計(jì)算環(huán)境的出現(xiàn)改變了數(shù)據(jù)處理的傳統(tǒng)模式，將更多的計(jì)算任務(wù)從中央處理器轉(zhuǎn)移到存儲(chǔ)設(shè)備中。這要求軟件開發(fā)者重新思考數(shù)據(jù)處理和計(jì)算任務(wù)的分布方式。在存內(nèi)計(jì)算環(huán)境中，開發(fā)者需要設(shè)計(jì)能夠在存儲(chǔ)設(shè)備上有效運(yùn)行的算法和程序，同時(shí)也要考慮如何高效地利用存儲(chǔ)設(shè)備內(nèi)部的處理器和資源。

此外，在存內(nèi)計(jì)算環(huán)境中，軟件開發(fā)者還需考慮數(shù)據(jù)在存儲(chǔ)設(shè)備中的布局。合理的數(shù)據(jù)布局可以減少數(shù)據(jù)訪問(wèn)的延遲，并充分利用存儲(chǔ)設(shè)備的內(nèi)部帶寬。這些考慮不僅涉及到軟件本身的編碼，還包括對(duì)操作系統(tǒng)、文件系統(tǒng)等底層支持的優(yōu)化。

綜上，存內(nèi)計(jì)算環(huán)境的搭建不僅促使硬件技術(shù)的創(chuàng)新，也推動(dòng)了軟件開發(fā)方法的變革。在這種環(huán)境中，軟件性能和效率的提升依賴于開發(fā)者對(duì)存儲(chǔ)設(shè)備計(jì)算能力的深入理解和有效利用。因此，軟件和硬件之間的緊密協(xié)作成為了實(shí)現(xiàn)最佳性能的關(guān)鍵。

二．存內(nèi)計(jì)算軟件開發(fā)

（一）研究背景

存內(nèi)計(jì)算提供了在數(shù)據(jù)處理和分析中更高的速度和效率，這對(duì)于需要處理大量數(shù)據(jù)的應(yīng)用尤其重要。然而，這也為軟件開發(fā)人員帶來(lái)了新的挑戰(zhàn)，例如需要深入了解存內(nèi)計(jì)算的工作原理，以及如何優(yōu)化代碼以充分利用其性能優(yōu)勢(shì)。同時(shí)，開發(fā)人員還需考慮如何在保持軟件靈活性的同時(shí)，提高與存內(nèi)計(jì)算硬件的兼容性。

為了更好地適應(yīng)存內(nèi)計(jì)算，開發(fā)者們正在探索新的編程模型和語(yǔ)言。這些新工具和語(yǔ)言旨在簡(jiǎn)化存內(nèi)計(jì)算的編程過(guò)程，同時(shí)提供強(qiáng)大的功能來(lái)支持復(fù)雜的數(shù)據(jù)處理任務(wù)。例如，一些研究正在探討如何將常見(jiàn)的編程概念和結(jié)構(gòu)（如循環(huán)和并行處理）適配到存內(nèi)計(jì)算架構(gòu)中。

（二）研究現(xiàn)狀

隨著存內(nèi)計(jì)算硬件的發(fā)展，軟件開發(fā)社區(qū)正在尋找方法將這種新技術(shù)集成到傳統(tǒng)的軟件開發(fā)工作流程中。例如，流行的開源框架Apache Spark已經(jīng)開始探索如何利用存內(nèi)計(jì)算技術(shù)來(lái)提高數(shù)據(jù)處理的效率。此外，TensorFlow等機(jī)器學(xué)習(xí)框架也在調(diào)整其算法，以更好地利用存內(nèi)計(jì)算的高速數(shù)據(jù)處理能力。

Apache Spark是一種廣泛使用的大數(shù)據(jù)處理框架，它的主要特點(diǎn)是基于內(nèi)存計(jì)算，能夠快速處理大量數(shù)據(jù)。近年來(lái)，Spark團(tuán)隊(duì)開始探索如何將存內(nèi)計(jì)算技術(shù)整合到其框架中，以進(jìn)一步提高數(shù)據(jù)處理效率。Apache Spark通過(guò)優(yōu)化其內(nèi)存管理和數(shù)據(jù)處理算法來(lái)適應(yīng)存內(nèi)計(jì)算架構(gòu)。這意味著Spark能夠更有效地利用基于CIM技術(shù)的硬件，減少數(shù)據(jù)在內(nèi)存和CPU之間的移動(dòng)，從而提高整體的數(shù)據(jù)處理速度。為了充分利用存內(nèi)計(jì)算的高速處理能力，Spark正在調(diào)整其核心算法，例如對(duì)RDD（彈性分布式數(shù)據(jù)集）的操作和Spark SQL的查詢優(yōu)化。

圖2 Apache Spark 框架

TensorFlow是一個(gè)廣泛應(yīng)用于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的框架。隨著存內(nèi)計(jì)算技術(shù)的發(fā)展，TensorFlow也在調(diào)整其算法以適應(yīng)這一新的計(jì)算模式，例如通過(guò)優(yōu)化其底層數(shù)據(jù)處理和神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法來(lái)利用存內(nèi)計(jì)算的優(yōu)勢(shì)。另一方面，可以減少在訓(xùn)練深度學(xué)習(xí)模型時(shí)數(shù)據(jù)在GPU和內(nèi)存之間的傳輸，從而加快訓(xùn)練過(guò)程TensorFlow開發(fā)人員正在增強(qiáng)其框架的靈活性，以支持不同類型的存內(nèi)計(jì)算硬件。這包括改進(jìn)對(duì)異構(gòu)計(jì)算資源的支持，使得TensorFlow能夠更有效地在搭載CIM技術(shù)的系統(tǒng)上運(yùn)行。

圖3 TensorFlow的計(jì)算圖

通過(guò)開發(fā)人員的努力，Apache Spark和TensorFlow不僅能夠提高數(shù)據(jù)處理和機(jī)器學(xué)習(xí)模型訓(xùn)練的速度，還能在能耗和性能方面取得顯著改進(jìn)。這些進(jìn)展在軟件開發(fā)領(lǐng)域展示了存內(nèi)計(jì)算技術(shù)的巨大潛力，尤其是在處理大數(shù)據(jù)和復(fù)雜計(jì)算任務(wù)時(shí)。隨著存內(nèi)計(jì)算技術(shù)的不斷發(fā)展和成熟，預(yù)計(jì)這些框架將在未來(lái)的軟件開發(fā)中發(fā)揮更重要的作用。

（三）軟件開發(fā)對(duì)CIM架構(gòu)的要求

在軟件開發(fā)領(lǐng)域，特別是對(duì)于數(shù)據(jù)密集型應(yīng)用，對(duì)CIM架構(gòu)的需求日益增長(zhǎng)。首先，CIM架構(gòu)必須能夠高效處理大數(shù)據(jù)量，這意味著它需要具備高吞吐量和低延遲的能力。為了提升軟件開發(fā)的效率，CIM架構(gòu)還需提供靈活的編程接口和強(qiáng)大的軟件支持，讓開發(fā)者可以輕松地利用其特性。隨著數(shù)據(jù)需求的增長(zhǎng)，CIM架構(gòu)的設(shè)計(jì)應(yīng)具備良好的可擴(kuò)展性，以應(yīng)對(duì)不斷增加的計(jì)算資源需求。此外，在移動(dòng)和邊緣計(jì)算設(shè)備中，CIM架構(gòu)還需在維持高性能的同時(shí)，優(yōu)化能源效率，以滿足現(xiàn)代計(jì)算環(huán)境的需求。

總結(jié)與展望
存內(nèi)計(jì)算環(huán)境的搭建和軟件開發(fā)正處于一個(gè)快速發(fā)展的時(shí)期，隨著技術(shù)的進(jìn)步，這兩個(gè)領(lǐng)域都展現(xiàn)出了顯著的潛力和多樣化的發(fā)展趨勢(shì)。存內(nèi)計(jì)算環(huán)境通過(guò)利用內(nèi)存（RAM）加速數(shù)據(jù)處理，提供了一個(gè)高效和靈活的平臺(tái)，特別適合實(shí)時(shí)數(shù)據(jù)分析和在線事務(wù)處理。這一環(huán)境的優(yōu)勢(shì)在于其極高的數(shù)據(jù)處理速度和效率，顯著減少了數(shù)據(jù)處理時(shí)間，并支持大數(shù)據(jù)和復(fù)雜應(yīng)用的處理。在軟件開發(fā)領(lǐng)域，Apache Spark和TensorFlow等框架正在適應(yīng)存內(nèi)計(jì)算架構(gòu)，優(yōu)化內(nèi)存管理和數(shù)據(jù)處理算法，以更高效地利用基于CIM技術(shù)的硬件。這些框架的調(diào)整不僅加快了數(shù)據(jù)處理和機(jī)器學(xué)習(xí)模型訓(xùn)練的速度，還在能耗和性能方面取得了顯著改進(jìn)。

未來(lái)展望中，存內(nèi)計(jì)算技術(shù)預(yù)計(jì)將繼續(xù)發(fā)展，尤其在與軟件開發(fā)的協(xié)同方面。預(yù)計(jì)這一領(lǐng)域?qū)⒁?jiàn)證更高效、靈活且可擴(kuò)展的存內(nèi)計(jì)算環(huán)境，并且軟件開發(fā)將更深入地利用其優(yōu)勢(shì)，以支持更復(fù)雜和數(shù)據(jù)密集的應(yīng)用。同時(shí)，安全性將成為未來(lái)發(fā)展的一個(gè)重要考慮因素。總之，存內(nèi)計(jì)算和軟件開發(fā)領(lǐng)域預(yù)計(jì)將繼續(xù)緊密合作，推動(dòng)數(shù)據(jù)處理和分析技術(shù)的進(jìn)步。

資料來(lái)源

Nika Mansouri Ghiasi, Jisung Park, Harun Mustafa,etc. 2022. GenStore: a high-performance in-storage processing system for genome sequence analysis. In Proceedings of the 27th ACM International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS '22). Association for Computing Machinery, New York, NY, USA, 635–654.

審核編輯 黃宇