大語(yǔ)言模型主導(dǎo)的生成式 Al 開(kāi)始滲透到各行各業(yè)，并正在與企業(yè)應(yīng)用結(jié)合，重塑企業(yè)應(yīng)用中人與數(shù)據(jù)的交互方式，幫助企業(yè)釋放生產(chǎn)力價(jià)值。例如，在金融行業(yè)，大模型可以幫助銀行更好地分析客戶情況，提供更加精準(zhǔn)的金融服務(wù)；在醫(yī)療診斷領(lǐng)域，大模型通過(guò)分析大量的醫(yī)學(xué)數(shù)據(jù)，提高診斷的準(zhǔn)確性和效率。然而，企業(yè)在將大模型與企業(yè)應(yīng)用相融合過(guò)程中，還存在著一些挑戰(zhàn)：

01存在" Al 幻覺(jué)"問(wèn)題

大模型訓(xùn)練周期長(zhǎng)且輸入 token 存在限制，無(wú)法及時(shí)地將實(shí)時(shí)、快速變化的信息數(shù)據(jù)和領(lǐng)域知識(shí)內(nèi)置到模型當(dāng)中，大模型存在“答非所問(wèn)”現(xiàn)象。

02海量數(shù)據(jù)處理性能不足

向量維度逐漸增高，數(shù)據(jù)計(jì)算量呈指數(shù)級(jí)上升，數(shù)據(jù)處理的實(shí)時(shí)性要求不斷提高，大模型的數(shù)據(jù)處理能力和性能存在很大挑戰(zhàn)。

03總體擁有成本 (TCO)高

日益增長(zhǎng)的數(shù)據(jù)和計(jì)算壓力，以及模型二次訓(xùn)練的高成本，給企業(yè)大模型構(gòu)建和運(yùn)營(yíng)等帶來(lái)了巨大的 TCO 壓力。

大語(yǔ)言模型正迅速地應(yīng)用于各行各業(yè)，改變用戶與企業(yè)產(chǎn)品和服務(wù)之間的交互方式，幫助企業(yè)提高效率、降低成本、優(yōu)化流程。盡管大模型具有巨大的潛力，但其訓(xùn)練、維護(hù)和技術(shù)難度要求極高，成本也非常昂貴。通用大模型在應(yīng)用于特定領(lǐng)域時(shí)普遍存在回答不精準(zhǔn)，“答非所問(wèn)”的現(xiàn)象，而專屬大模型又存在訓(xùn)練時(shí)間較長(zhǎng)，算力需求較高等問(wèn)題。通過(guò)引入向量數(shù)據(jù)庫(kù)，實(shí)現(xiàn)大模型＋向量數(shù)據(jù)庫(kù)的架構(gòu)為企業(yè)解決上述問(wèn)題提供了有效的解決方案。

星環(huán)科技企業(yè)級(jí)云原生分布式向量數(shù)據(jù)庫(kù)TranswarpHippo支持存儲(chǔ)、索引以及管理來(lái)自深度神經(jīng)網(wǎng)絡(luò)或者各類機(jī)器學(xué)習(xí)模型所生成的海量向量數(shù)據(jù)，提供向量相似度檢索、混合檢索等能力，能夠拓展大模型的時(shí)間邊界和空間邊界，使得大模型擁有“長(zhǎng)期記憶”的同時(shí)保護(hù)數(shù)據(jù)隱私，幫助企業(yè)用戶解決大模型應(yīng)用時(shí)實(shí)時(shí)性不夠、二次訓(xùn)練周期長(zhǎng)成本高、答非所問(wèn)等問(wèn)題。

為了更好地幫助企業(yè)應(yīng)對(duì)大模型時(shí)代海量、多維向量數(shù)據(jù)的高并發(fā)和實(shí)時(shí)計(jì)算等挑戰(zhàn)，星環(huán)科技與英特爾合作，推出了基于第四代英特爾至強(qiáng)可擴(kuò)展處理器TranswarpHippo分布式向量數(shù)據(jù)庫(kù)解決方案，通過(guò)軟硬件深度融合，滿足大模型時(shí)代海量、高維向量的存儲(chǔ)和計(jì)算需求，為用戶構(gòu)建高性能向量數(shù)據(jù)庫(kù)系統(tǒng)和大模型應(yīng)用提供了重要依據(jù)和選型方向。

同時(shí)，星環(huán)科技作為一家企業(yè)級(jí)大數(shù)據(jù)基礎(chǔ)軟件公司，為企業(yè)提供大模型應(yīng)用開(kāi)發(fā)全周期的技術(shù)和產(chǎn)品，通過(guò)TranswarpHippo向量數(shù)據(jù)庫(kù)和大模型統(tǒng)一運(yùn)營(yíng)管理平臺(tái) Sophon LLMOps 、金融大模型Transwarp Infinity“星環(huán)無(wú)涯” 、大數(shù)據(jù)分析大模型 Transwarp Solar “星環(huán)求索”等產(chǎn)品組合，幫助每個(gè)企業(yè)更快、更精確地打造真正符合實(shí)際需求的專屬領(lǐng)域大模型。

軟硬件深度融合，激發(fā)強(qiáng)勁性能

第四代英特爾至強(qiáng)可擴(kuò)展處理器是英特爾公司 2023 年發(fā)布的數(shù)據(jù)中心處理器，凝聚了英特爾數(shù)十年來(lái)在數(shù)據(jù)中心、網(wǎng)絡(luò)和智能邊緣等領(lǐng)域積累的技術(shù)經(jīng)驗(yàn)，采用全新架構(gòu)，提升了單核性能，每路配備多達(dá) 60 個(gè)內(nèi)核支持 8 通道 DDR5 內(nèi)存，有效提升了內(nèi)存帶寬與速度，并通過(guò) PCle 5.0 (80 個(gè)通道)實(shí)現(xiàn)了更高的 PCle 帶寬提升。第四代英特爾至強(qiáng)可擴(kuò)展處理器提供了出色性能和安全性。以結(jié)果為導(dǎo)向、工作負(fù)載至上，為 AI、云、網(wǎng)絡(luò)、邊緣和全球領(lǐng)先的超級(jí)計(jì)算機(jī)帶來(lái)全新功能。

第四代英特爾 至強(qiáng) 可擴(kuò)展處理器與星環(huán)科技 Transwarp Hippo 分布式向量數(shù)據(jù)庫(kù)軟硬件融合的深度優(yōu)化:

使用 AVX512 擴(kuò)展指令集重寫(xiě)向量距離計(jì)算函數(shù)，顯著降低向量計(jì)算需要的 CPU 指令數(shù)量與 CPU 時(shí)鐘周期，充分發(fā)揮第四代英特爾 至強(qiáng) 可擴(kuò)展處理器高內(nèi)存帶寬的優(yōu)勢(shì) NUMA 友好的向量計(jì)算負(fù)載調(diào)度算法，避免 CPU 遠(yuǎn)程內(nèi)存訪問(wèn)造成 CPU 阻塞，充分發(fā)揮第四代英特爾 至強(qiáng) 可擴(kuò)展處理器多核性能的優(yōu)勢(shì) 基于數(shù)據(jù)離散度的浮點(diǎn)數(shù)矢量化算法，充分利用 VNNI 指令集，進(jìn)一步提升向量計(jì)算性能

通過(guò)配置第四代英特爾至強(qiáng)可擴(kuò)展處理器，星環(huán)科技 Transwarp Hippo 在向量索引層面實(shí)現(xiàn)了 20%~30%¹的性能提升，可全面滿足個(gè)性化推薦、智能問(wèn)答、大模型應(yīng)用等場(chǎng)景對(duì)向量數(shù)據(jù)庫(kù)系統(tǒng)計(jì)算能力的要求。

圖1. 基于第四代英特爾至強(qiáng)可擴(kuò)展處理器 AVX512 的 Hippo向量索引庫(kù)與開(kāi)源 Faiss 查詢性能¹

圖2. 基于第四代英特爾至強(qiáng)可擴(kuò)展處理器 AVX2/AVX512 的Hippo 向量索引庫(kù)查詢性能¹

用戶收益 專業(yè)向量數(shù)據(jù)庫(kù)——解決大模型的局限性

通過(guò)將最新的信息語(yǔ)料存儲(chǔ)在Transwarp Hippo 向量數(shù)據(jù)庫(kù)中，能夠讓大模型保持信息實(shí)時(shí)性，使大模型擁有“長(zhǎng)期記憶”；協(xié)助企業(yè)解決大模型數(shù)據(jù)泄露隱私問(wèn)題，拓展大語(yǔ)言模型的空間邊界；通過(guò)多模態(tài)信息向量化存儲(chǔ)以及近似檢索、混合檢索等能力幫助大模型解決 “Al 幻覺(jué)”問(wèn)題。

高擴(kuò)展——敏捷地滿足大模型發(fā)展需求

隨著大模型場(chǎng)景的深入化和豐富化，數(shù)據(jù)多模態(tài)加劇，如文本、圖像、音頻和視頻等，向量數(shù)據(jù)維度也逐漸增高，數(shù)據(jù)量呈現(xiàn)爆炸式增長(zhǎng)。星環(huán)科技 Transwarp Hippo 可以按需水平擴(kuò)展，利用容器技術(shù)支持服務(wù)彈性擴(kuò)縮容，可以滿足企業(yè)大模型未來(lái)發(fā)展對(duì)海量向量數(shù)據(jù)的存儲(chǔ)和計(jì)算需求。

更高性能——應(yīng)對(duì)大模型應(yīng)用帶來(lái)的挑戰(zhàn)

海量、高維度向量數(shù)據(jù)處理，以及低時(shí)延和高精確度等要求給向量數(shù)據(jù)庫(kù)性能帶來(lái)了巨大挑戰(zhàn)。通過(guò)與第四代英特爾 至強(qiáng) 可擴(kuò)展處理器的深度融合，星環(huán)科技Trans warp Hippo 可以更好地幫忙用戶應(yīng)對(duì)大模型應(yīng)用帶來(lái)的挑戰(zhàn)，更高效地挖掘大模型應(yīng)用價(jià)值。

降低 TCO ——提升大模型投資回報(bào)率

基于星環(huán)科技Transwarp Hippo 向量數(shù)據(jù)庫(kù)可以大幅降低大模型二次訓(xùn)練成本，加速大模型業(yè)務(wù)上線和創(chuàng)新。同時(shí)，自帶Embedding工具和模型、高擴(kuò)展、以及與第四代英特爾 至強(qiáng) 可擴(kuò)展處理器深度融合帶來(lái)的更高性能等特性可滿足企業(yè)業(yè)務(wù)發(fā)展需求，提升大模型建設(shè)的投資回報(bào)率。

展 望

基于第四代英特爾至強(qiáng)可擴(kuò)展處理器的星環(huán)科技 Transwarp Hippo 分布式向量數(shù)據(jù)庫(kù)顯著提升了數(shù)據(jù)庫(kù)系統(tǒng)的整體性能表現(xiàn)，使其成為用戶構(gòu)建大語(yǔ)言模型方案的理想選擇。借助該方案，用戶可以便捷、高效打造大模型應(yīng)用，激發(fā)更多的 AI 場(chǎng)景業(yè)務(wù)。

星環(huán)科技與英特爾將繼續(xù)深化軟硬件技術(shù)融合能力，圍繞 Transwarp Hippo 向量數(shù)據(jù)庫(kù)，結(jié)合星環(huán)科技大模型開(kāi)發(fā)工具 Sophon LLMOps、金融大模型 Transwarp Infinity “星環(huán)無(wú)涯”、大數(shù)據(jù)分析大模型 Transwarp SoLar “星環(huán)求索”等產(chǎn)品，為用戶提供大模型應(yīng)用構(gòu)建的全?；A(chǔ)軟件和工具，幫助金融、能源、交通等各個(gè)行業(yè)的企業(yè)更高效、更精確地打造專屬領(lǐng)域大模型，促進(jìn)生產(chǎn)力提升，加速業(yè)務(wù)創(chuàng)新和價(jià)值實(shí)現(xiàn)。

參考資料：

1截止 2023 年10月由星環(huán)科技與英特爾共同開(kāi)展的測(cè)試。測(cè)試配置:雙路第四代英特爾 至強(qiáng)鉑金 8480+處理器，56核，啟用睿頻加速技術(shù)，關(guān)閉超線程，512 GB總存(16x32 GB DDR4 3200 MHz),BIOS EGSDCRB1.SYS.0090.D03.2210040200, ucode 0x2b0000c0,1x MT27800 Family [ConnectX-5，25Gb/s]，2x 480 GB英特爾SSDSCKKB48，Red Hat Enterprise Linux 8.6 (0otpa), 4.18.0-372.9.1.el8.x86_64,Transwarp Hippo 1.2,Faiss 1.7.4.實(shí)際性能受使用情況、配置和其他因素的差異影響。更多信息請(qǐng)見(jiàn) www.intel.com/Performancelndex

2,3,4,5實(shí)際性能受使用情況、配置和其他因素的差異影響。更多信息請(qǐng)見(jiàn)www.intel. com/Performancelndex