2023年注定是屬于大模型和向量數(shù)據(jù)庫(kù)的巔峰時(shí)刻。國(guó)內(nèi)大模型的發(fā)展也迎來(lái)前所未有之機(jī)遇，“百?！奔?zhàn)正酣。在剛閉幕的世界人工智能大會(huì)上，國(guó)內(nèi)外科技公司全線加入，三十余款大模型集中亮相，“國(guó)家隊(duì)”塵埃落定，并正式啟動(dòng)大模型測(cè)試國(guó)家標(biāo)準(zhǔn)制訂，掀起新一輪大模型熱浪。而作為“大模型記憶體”、AIGC應(yīng)用開發(fā)新范式的重要組成部分，向量數(shù)據(jù)庫(kù)的演進(jìn)也逐漸達(dá)到了前所未有的新高度。

Milvus自2019年正式開源以來(lái)，已經(jīng)成長(zhǎng)為全球最大、最活躍的向量數(shù)據(jù)庫(kù)開源項(xiàng)目與開發(fā)者社區(qū)。作為Milvus背后的開發(fā)者與運(yùn)營(yíng)者，Zilliz一直走在向量數(shù)據(jù)庫(kù)的最前沿，始終秉承為開發(fā)者提供易用性強(qiáng)、性價(jià)比高的向量數(shù)據(jù)庫(kù)服務(wù)的理念。經(jīng)過五年的持續(xù)打磨，終于在國(guó)內(nèi)推出了基于Milvus的全托管向量數(shù)據(jù)庫(kù)云服務(wù)產(chǎn)品——Zilliz Cloud。

經(jīng)過不斷地開發(fā)與升級(jí)，Zilliz Cloud儼然成為向量數(shù)據(jù)庫(kù)賽道的領(lǐng)先者。隨著Zilliz Cloud在國(guó)內(nèi)全面開啟向量數(shù)據(jù)庫(kù)云服務(wù)，也為向量數(shù)據(jù)庫(kù)的高速發(fā)展開啟了全新的紀(jì)元。對(duì)于此次在國(guó)內(nèi)的服務(wù)落地，Zilliz秉承的使命和目標(biāo)尤為清晰和明確：

?提供全球最專業(yè)的全托管向量數(shù)據(jù)庫(kù)云服務(wù)。

?打破向量數(shù)據(jù)庫(kù)服務(wù)集中在北美，國(guó)內(nèi)無(wú)可用向量數(shù)據(jù)庫(kù)服務(wù)的尷尬局面。

?滿足向量數(shù)據(jù)庫(kù)服務(wù)多云的需求，避免業(yè)務(wù)被單一云環(huán)境限制。

?為跨境業(yè)務(wù)中所需要的統(tǒng)一向量數(shù)據(jù)庫(kù)服務(wù)和架構(gòu)提供可行性。

?Milvus開源解決方案、SaaS、PaaS統(tǒng)一接口標(biāo)準(zhǔn)，無(wú)縫線下/云上遷移，并大幅度降低混合部署的綜合成本。

?提供比開源Milvus具有更高性價(jià)比、更穩(wěn)定服務(wù)支持的產(chǎn)品和解決方案。

成熟穩(wěn)定，全球率先支持十億級(jí)別向量規(guī)模的服務(wù)

Milvus自開源以來(lái)，一直都是企業(yè)用戶自建向量數(shù)據(jù)平臺(tái)的首選，全套技術(shù)解決方案已被上萬(wàn)家企業(yè)所采用，其中百度、新浪、理想汽車、華泰證券、沃爾瑪、LINE、BIGO等頭部企業(yè)在實(shí)踐中經(jīng)過反復(fù)驗(yàn)證，均已順利投產(chǎn)。

向量數(shù)據(jù)庫(kù)是AIGC大模型的重要補(bǔ)充，是提供準(zhǔn)確可靠、高度可擴(kuò)展的長(zhǎng)短期“記憶”的關(guān)鍵載體。近一年，向量數(shù)據(jù)庫(kù)項(xiàng)目如雨后春筍般涌現(xiàn)。然而，大部分向量數(shù)據(jù)庫(kù)支持的向量數(shù)據(jù)規(guī)模僅停留在千萬(wàn)量級(jí)，并不具備支撐生產(chǎn)環(huán)境的能力。

相較之下，Milvus在過去5年的客戶應(yīng)用場(chǎng)景覆蓋各行各業(yè)，早在2021年就實(shí)現(xiàn)穩(wěn)定支持十億級(jí)向量規(guī)模的線上服務(wù)。如今，Zilliz Cloud的向量數(shù)據(jù)庫(kù)服務(wù)可輕松支持十億級(jí)以上規(guī)模向量數(shù)據(jù)，可用性高達(dá)99.9%。

此外，在產(chǎn)品與技術(shù)背后，Zilliz亦擁有全球最資深的向量數(shù)據(jù)庫(kù)專家團(tuán)隊(duì)，可以為每一位企業(yè)用戶配備4名技術(shù)支持，“沒有人比我們更懂向量數(shù)據(jù)庫(kù)”是團(tuán)隊(duì)對(duì)開源社區(qū)與商業(yè)化用戶的承諾。

高性能+高性價(jià)比，性能優(yōu)異遠(yuǎn)超同類產(chǎn)品

當(dāng)前主流的向量數(shù)據(jù)索引算法是內(nèi)存算法或內(nèi)存/SSD混合，算法內(nèi)核以矩陣計(jì)算為主（類似HPC），大規(guī)模向量檢索與分析是計(jì)算/內(nèi)存雙重密集的任務(wù)。這意味著向量數(shù)據(jù)庫(kù)作為基礎(chǔ)設(shè)施，對(duì)于性能與成本更加敏感。

從性能方面來(lái)看，Zilliz Cloud在QPS和降低查詢延遲方面遠(yuǎn)超其他同類產(chǎn)品。我們將ZillizCloud 、Milvus、Pinecone、ElasticCloud 4個(gè)常見的向量數(shù)據(jù)庫(kù)（ElasticCloud 嚴(yán)格來(lái)說不屬于向量數(shù)據(jù)庫(kù)，但附帶向量能力，在傳統(tǒng)文本檢索領(lǐng)域受眾最廣，可以視為目前傳統(tǒng)數(shù)據(jù)庫(kù)支持向量檢索的代表）在同等資源及6組向量查詢?nèi)蝿?wù)的同等條件下進(jìn)行了對(duì)比（測(cè)試框架已開源，詳見VectorDBBench，Leaderboard）。

對(duì)比結(jié)果如下：

在查詢吞吐方面，ZillizCloud在全部6組查詢?nèi)蝿?wù)中全面力壓向量數(shù)據(jù)庫(kù)Pinecone，整體性能平均超越2倍以上。與此同時(shí)，Zilliz Cloud相比Milvus，也有將近一倍的提升，表現(xiàn)令人眼前一亮。ElasticCloud作為傳統(tǒng)文本檢索服務(wù)的代表，向量查詢能力主要為補(bǔ)充能力，這6組查詢?nèi)蝿?wù)的QPS均在50以下。

查詢延遲方面，Zilliz Cloud整體在10ms以下，Milvus整體在20ms以下，Pinecone在20-40ms之間，ElasticCloud差距較為明顯。

性價(jià)比方面，主要考察Queries per dollar (高并發(fā)情況下，單位成本所能支持的查詢請(qǐng)求數(shù)量)。相較Pinecone、Elastic，Zilliz Cloud的優(yōu)勢(shì)十分明顯。指標(biāo)相比第二位的Pinecone最多可以高出1個(gè)數(shù)量級(jí)（Q1,Q2），在剩下的四組任務(wù)中普遍可以高3倍左右。（由于Milvus為開源方案，難以和商業(yè)化服務(wù)在相同標(biāo)準(zhǔn)下比較，我們?cè)谶@組測(cè)試中將其移除。）

黑科技加持，軟硬件性能飆升，全新內(nèi)核火力全開

Zilliz Cloud采用商業(yè)化引擎，綜合性能超過Milvus開源引擎的1倍以上。引擎針對(duì)典型場(chǎng)景進(jìn)行深度優(yōu)化，性能可提升 3-5 倍。

硬件層面，Zilliz與英偉達(dá)、英特爾等一線硬件廠商有著長(zhǎng)期穩(wěn)定的合作，向量算法內(nèi)核針對(duì)X86、ARM、GPU進(jìn)行了定制化優(yōu)化。

軟件層面，Zilliz Cloud推出了Autoindex智能索引。智能索引根據(jù)用戶的向量維度、數(shù)據(jù)規(guī)模、數(shù)據(jù)分布、查詢特性進(jìn)行持續(xù)的自動(dòng)化調(diào)優(yōu)，免去用戶索引類型選型以及參數(shù)調(diào)優(yōu)的痛苦。據(jù)Zilliz內(nèi)部測(cè)試，autoindex智能索引已經(jīng)達(dá)到向量數(shù)據(jù)庫(kù)專家手工調(diào)優(yōu)效果的84%，大幅超越用戶的平均水平。在下一階段，autoindex智能索引的功能還會(huì)得到大幅度增強(qiáng)，支持用戶指定recall進(jìn)行優(yōu)化，保證索引運(yùn)行在指定查詢準(zhǔn)確度的最優(yōu)點(diǎn)。

當(dāng)然，針對(duì)最近大火的AIGC應(yīng)用，Zilliz Cloud也推出了專門的特性支持：

?動(dòng)態(tài)schema，可以根據(jù)AIGC迭代需要，靈活擴(kuò)展向量特征或標(biāo)簽字段。

?PartitionKey，支持AIGC應(yīng)用多用戶知識(shí)庫(kù)的利器，相較單獨(dú)建表方案，綜合成本可下降2-3個(gè)數(shù)量級(jí)。

?支持JSON類型，可以將JSON與embedding這兩種超強(qiáng)能力相結(jié)合，實(shí)現(xiàn)基于JSON與embedding向量的混合數(shù)據(jù)表示以及復(fù)雜的業(yè)務(wù)邏輯。

打破“CAP”不可能三角，給用戶靈活選擇

向量數(shù)據(jù)庫(kù)技術(shù)發(fā)展到現(xiàn)在并不完美，通常情況下，業(yè)務(wù)需要在成本（Cost）、查詢效果與準(zhǔn)確度（Accuracy）、查詢性能（Performance）之間做權(quán)衡，即向量數(shù)據(jù)庫(kù)的CAP問題。目前來(lái)看，CAP是一個(gè)不可能三角，Zilliz的解法是在典型的位置給出局部最優(yōu)解，并給用戶以靈活的選擇。

事實(shí)上，用戶的普遍場(chǎng)景可以歸納為性能需求型、容量需求型與成本敏感型。為此，Zilliz Cloud在向量數(shù)據(jù)庫(kù)實(shí)例中也相應(yīng)提供了三類支持：性能型、容量型和經(jīng)濟(jì)型。不同的實(shí)例類型由不同的算法與硬件資源組合而成，適用于不同的業(yè)務(wù)場(chǎng)景。

?性能型實(shí)例適用于需要低延遲和高吞吐量的向量相似性檢索場(chǎng)景，該類型的實(shí)例能夠保證毫秒級(jí)的響應(yīng)。

性能型實(shí)例的適用場(chǎng)景包括但不限于：生成式AI、推薦系統(tǒng)、搜索引擎、聊天機(jī)器人、內(nèi)容審核、LLM增強(qiáng)的知識(shí)庫(kù)、金融風(fēng)控。

?容量型實(shí)例可以支持的數(shù)據(jù)量是性能型的5倍，但查詢延遲略有增加，因此適用于需要大量存儲(chǔ)空間的場(chǎng)景，尤其是需要處理千萬(wàn)級(jí)以上向量數(shù)據(jù)的場(chǎng)景。

容量型實(shí)例的適用場(chǎng)景包括但不限于：搜索大規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)（如：文本、圖像、音頻、視頻、藥物化學(xué)結(jié)構(gòu)等）、侵權(quán)檢測(cè)、生物身份驗(yàn)證。

?經(jīng)濟(jì)型實(shí)例可支持的數(shù)據(jù)規(guī)模與容量型一致，但價(jià)格優(yōu)惠7折左右，性能略有下降，適用于追求高性價(jià)比或預(yù)算敏感的場(chǎng)景。

經(jīng)濟(jì)型實(shí)例的適用場(chǎng)景包括但不限于：數(shù)據(jù)標(biāo)記或數(shù)據(jù)聚類、數(shù)據(jù)去重、數(shù)據(jù)異常檢測(cè)、平衡訓(xùn)練集類型分布。

支持大模型與非結(jié)構(gòu)化數(shù)據(jù)處理全生態(tài)覆蓋

沒有任何一套系統(tǒng)可以滿足使用者業(yè)務(wù)上的所有需求，向量數(shù)據(jù)庫(kù)也是如此。在以向量數(shù)據(jù)庫(kù)為支撐的業(yè)務(wù)中，往往需要處理多道流程，包括：

?業(yè)務(wù)數(shù)據(jù)的語(yǔ)義結(jié)構(gòu)化，如從文本數(shù)據(jù)中梳理標(biāo)題embedding、內(nèi)容段落的embedding、一二級(jí)主題、閱讀時(shí)間；

?面向端到端效果的模型選型，如尋找能帶來(lái)最佳效果的embedding模型選型；

?模型與向量數(shù)據(jù)庫(kù)的集成，如向量數(shù)據(jù)庫(kù)查詢驅(qū)動(dòng)的原始數(shù)據(jù)召回以及后續(xù)LLM對(duì)召回內(nèi)容的總結(jié)或重構(gòu)等。

為了進(jìn)一步降低應(yīng)用構(gòu)建成本，提供標(biāo)準(zhǔn)化組件，Zilliz Cloud為開發(fā)者提供了雙重支持：

?大模型生態(tài)對(duì)接。2023年3月，Zilliz作為OpenAI首批向量數(shù)據(jù)庫(kù)合作伙伴，完成了Milvus與Zilliz Cloud的插件化集成，被納入官方推薦的向量數(shù)據(jù)庫(kù)插件名單。不止如此，Zilliz還與LangChain、Cohere、LlamaIndex、Auto-GPT、BabyAGI等熱門項(xiàng)目進(jìn)行了深度集成。此外，與國(guó)產(chǎn)大模型如文心一言、通義千問、智譜AI、MiniMax、360智腦等對(duì)接工作正在進(jìn)行中，近期將會(huì)有更多成果發(fā)布。

?面向非結(jié)構(gòu)化數(shù)據(jù)處理流水線。Zilliz Cloud提供了開源的Towhee工具框架。開發(fā)者可以在熟悉的Python環(huán)境，以類似Spark的算子語(yǔ)法編寫自己的流水線，輕松處理文本、圖片、音頻、視頻、化合物結(jié)構(gòu)等非結(jié)構(gòu)化數(shù)據(jù)的ETL過程。Towhee同時(shí)提供自動(dòng)化編排工具，一鍵在Python環(huán)境驗(yàn)證過的流水線組織成基于Triton、TensorRT、ONNX以及一系列硬件加速算法的服務(wù)鏡像，面向如文本近似搜索、智能問答、知識(shí)庫(kù)等典型場(chǎng)景。當(dāng)然，Towhee也提供深度優(yōu)化的標(biāo)準(zhǔn)流水線。

目前，Zilliz Cloud提供SaaS和PaaS服務(wù)，其中SaaS已覆蓋AWS、GCP、阿里云，PaaS覆蓋AWS、GCP、Azure、阿里云、百度智能云、騰訊云和金山云。國(guó)內(nèi)官網(wǎng)已同步上線，更多詳情和案例可以訪問Https://zilliz.com.cn（海外官網(wǎng)和云服務(wù)入口：Https://zilliz.com）。

為了加速打磨業(yè)界最佳實(shí)踐，我們即將啟動(dòng)「尋找AIGC時(shí)代的CVP實(shí)踐之星」專題活動(dòng)，Zilliz將聯(lián)合國(guó)內(nèi)頭部大模型廠商一同甄選應(yīng)用場(chǎng)景，由雙方提供向量數(shù)據(jù)庫(kù)與大模型頂級(jí)技術(shù)專家為用戶賦能，一同打磨應(yīng)用，提升落地效果，賦能業(yè)務(wù)本身。如果你的應(yīng)用也適合CVP框架，且正為應(yīng)用落地和實(shí)際效果發(fā)愁，可直接申請(qǐng)參與活動(dòng)，獲得最專業(yè)的幫助和指導(dǎo)。（注：CVP即C代表以ChatGPT為代表的LLMs，V代表Vector DB，P代表Prompt Engineering，聯(lián)系方式參見business@zilliz.com）

2023年伴隨著AGI和LLMs的爆發(fā)已經(jīng)過半，加速探索大模型落地之路已經(jīng)迫在眉睫。行業(yè)的高度共識(shí)推動(dòng)著AI奇點(diǎn)的來(lái)臨，大模型將重構(gòu)企業(yè)級(jí)應(yīng)用，重塑人工智能產(chǎn)業(yè)的發(fā)展方向。Zilliz表示，未來(lái)將持續(xù)聚焦向量數(shù)據(jù)庫(kù)行業(yè)發(fā)展的最前沿，以各行各業(yè)的智能化演進(jìn)為目標(biāo)，為大模型時(shí)代的企業(yè)和開發(fā)者提供最具競(jìng)爭(zhēng)力的“大模型記憶體”。