一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Qdrant不只是高性能向量數(shù)據(jù)庫

jf_wN0SrCdH ? 來源:Rust語言中文社區(qū) ? 2023-05-11 09:41 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

Qdrant(讀作 quadrant)是一個向量相似度搜索引擎和向量數(shù)據(jù)庫。它提供了一個生產就緒的服務,并具有便捷的 API,用于存儲、搜索和管理點,具有附加負載的向量。

ef924b3c-ef67-11ed-90ce-dac502259ad0.jpg

Qdrant 是專為擴展過濾支持而設計的,這使得它適用于各種基于神經網絡或語義匹配、分面搜索等應用。

Qdrant 使用 Rust 編寫,即使在高負載下也能快速、可靠地工作。至于性能文章后面有基準測試結果。

使用 Qdrant,embeddings或神經網絡編碼器可以直接轉化為完備的應用程序,然后用于匹配、搜索、推薦等等!

github非常熱門,每天均以500star速度飆升。

efa3ff26-ef67-11ed-90ce-dac502259ad0.jpg

什么是向量數(shù)據(jù)庫

再搞清楚這個問題之前,先需要知道什么是向量(vector)。

什么是向量

AI領域中,向量是一個具有大小和方向的數(shù)學對象。它可以用來表示現(xiàn)實世界中的各種事物,例如圖像、語音、文本等。

機器學習深度學習中,向量通常被用作表示數(shù)據(jù)的形式,其中每個向量的維度代表了不同的特征或屬性。例如,在圖像分類任務中,一個圖像可以被表示為像素值組成的向量;在自然語言處理任務中,一句話可以被表示為單詞嵌入(word embeddings)組成的向量。通過對這些向量進行計算和比較,機器可以從數(shù)據(jù)中提取出有用的信息,如相似性、聚類等。

拿比如人臉識別技術來說,計算機從照片或視頻中提取出人臉的圖像,然后將人臉圖像轉換為128維或者更高維度的向量。說到向量,就離不開embeddings。下面說下embeddings是什么。

什么是embeddings

embeddings是一個相對低維度的空間,可以將高維向量轉換為低維度。embeddings使得在大型輸入上搞機器學習更加容易,例如表示單詞的稀疏向量。最理想的情況是,embeddings能夠通過將語義上相似的輸入放置在embeddings空間中彼此靠近來捕獲輸入的某些語義??梢栽诓煌哪P椭袑W習和重復使用嵌入。

這里有一個之前學習過的Google出品的機器學習的課程可以參考:

官方網站:

https://developers.google.com/machine-learning/crash-course/embeddings/video-lecture?hl=en
efc1bc14-ef67-11ed-90ce-dac502259ad0.jpg

什么是向量檢索

向量搜索是一種使用機器學習模型在索引中檢測對象間語義關系的方法,以找到具有相似特征的相關對象。

向量搜索和推薦的解決方案變得越來越常見。如果你想在你的網站上添加自然語言文本搜索、創(chuàng)建圖像搜索或構建強大的推薦系統(tǒng),那么你就需要考慮使用向量技術。

為什么需要向量數(shù)據(jù)庫

上面的一些概念解釋了之后,其實在 AI 領域中,向量數(shù)據(jù)庫是為了更高效地存儲和檢索大規(guī)模高維度的向量數(shù)據(jù)而設計的。由于傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)并不擅長處理向量數(shù)據(jù),因此需要專門的向量數(shù)據(jù)庫來支持各種應用場景,例如語義搜索、圖像檢索、推薦系統(tǒng)等。

與傳統(tǒng)數(shù)據(jù)庫不同,向量數(shù)據(jù)庫可以使用特殊的索引結構和相似度度量方法,在高維度向量空間中快速查找相似的向量。例如,一些流行的向量數(shù)據(jù)庫如 Faiss 和 Annoy 使用基于倒排索引和近似最近鄰搜索(Approximate Nearest Neighbor Search)的技術,極大地加快了向量數(shù)據(jù)的查詢速度。

向量數(shù)據(jù)庫還提供了方便的 API 接口和工具庫,使得用戶可以輕松地將其集成到自己的應用程序中,并進行快速的向量搜索。因此,在許多需要處理大規(guī)模向量數(shù)據(jù)的 AI 應用中,向量數(shù)據(jù)庫成為了不可或缺的組件。

qdrant如何使用

Python中直接使用一個基于內存的qdrant

pipinstallqdrant-client

python客戶端提供了一種方便的方式在本地啟動qrant:

fromqdrant_clientimportQdrantClient
qdrant=QdrantClient("")#創(chuàng)建一個內存Qdrant實例,可以用來測試CICD
#或者
client=QdrantClient(path="path/to/db")#持久化到磁盤

客戶端

這是推薦在生產中使用的方法。使用命令直接運行容器:

dockerrun-p6333:6333qdrant/qdrant

現(xiàn)在,可以使用任何客戶(包括Python)連接到服務端:

qdrant=QdrantClient("http://localhost:6333")

目前支持的客戶端有:

  • 官方: Go client

  • 官方: Rust client

  • 官方: JavaScript/TypeScript client

  • 官方: Python client

  • 社區(qū): Elixir

  • 社區(qū): PHP

  • 社區(qū): Ruby

  • 社區(qū): Java

Demo示例工程

efdbb20e-ef67-11ed-90ce-dac502259ad0.jpg

總結

如今大模型浪潮浩浩蕩蕩,紅紅火火。向量數(shù)據(jù)庫被看做是Ai Infra中最關鍵的一環(huán),這種專門用于存儲,索引和查詢向量的數(shù)據(jù)庫系統(tǒng),可以讓大模型更高效的存儲和讀取知識庫,并且以更低成本的進行模型微調。Rust作為新基建的首選語言,也會在Ai infra中被大量采用。

一文告訴你為什么Mojo比python快35000x

一個用Rust寫的Go編譯器

極簡而強大: 一個用 Rust 編寫的 Shell 歷史記錄工具


審核編輯 :李倩


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • API
    API
    +關注

    關注

    2

    文章

    1567

    瀏覽量

    63722
  • 數(shù)據(jù)庫

    關注

    7

    文章

    3907

    瀏覽量

    65959
  • 機器學習
    +關注

    關注

    66

    文章

    8499

    瀏覽量

    134315
  • 深度學習
    +關注

    關注

    73

    文章

    5557

    瀏覽量

    122646

原文標題:Qdrant不只是高性能向量數(shù)據(jù)庫

文章出處:【微信號:Rust語言中文社區(qū),微信公眾號:Rust語言中文社區(qū)】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    大模型卷價格,向量數(shù)據(jù)庫“卷”什么?

    被大模型“帶飛”這一年,向量數(shù)據(jù)庫才剛剛寫下序言
    的頭像 發(fā)表于 05-23 09:24 ?2139次閱讀
    大模型卷價格,<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>“卷”什么?

    莫名被戳中的“不只是”體

    三星電視發(fā)起“不只是”體,金秀賢版本和三星UHD電視版本一出,機智的網友們,將各種時下熱門紛紛打造成各種“不只是”體,加以調侃、唏噓,只有你想不到,沒有他們寫不出。據(jù)說,只要參與創(chuàng)造不只是體的還有
    發(fā)表于 05-26 17:24

    莫名被戳中的“不只是”體

    三星電視發(fā)起“不只是”體,金秀賢版本和三星UHD電視版本一出,機智的網友們,將各種時下熱門紛紛打造成各種“不只是”體,加以調侃、唏噓,只有你想不到,沒有他們寫不出。據(jù)說,只要參與創(chuàng)造不只是體的還有
    發(fā)表于 05-26 17:26

    為什么說藍牙技術不只是連接?

    藍牙作為實現(xiàn)物聯(lián)網的一種關鍵技術,如今它不只是連接,也將是智能的“標配”。雖然物聯(lián)網尚未完全普及開來,但是很多人已經開始討論AIoT了,也就是智慧互聯(lián)。馬云和雷軍等大佬們不止一次在公開場合表示,AIoT才是未來物聯(lián)網的終極形態(tài),這也就意味著僅僅靠連接技術,很難搶占未來巨大的IoT藍海市場。
    發(fā)表于 09-11 11:51

    提高Oracle的數(shù)據(jù)庫性能

    問題。通過優(yōu)化SQL語句效率、擴充高級緩沖區(qū)和配置重做日志緩沖區(qū)等幾個方面介紹了Oracle數(shù)據(jù)庫優(yōu)化方法,探討了OraCle如何提高性能優(yōu)化的措施。通過測試Oracle查詢結果表明,經過優(yōu)化后的Oracle數(shù)據(jù)庫縮短了響應時間
    發(fā)表于 11-11 18:16 ?4次下載

    【數(shù)轉視野】不只是科技企業(yè) 傳統(tǒng)企業(yè)更需要數(shù)字化轉型

    【數(shù)轉視野】不只是科技企業(yè) 傳統(tǒng)企業(yè)更需要數(shù)字化轉型
    的頭像 發(fā)表于 06-27 19:39 ?3602次閱讀

    工業(yè)投影設計——不只是為了觀看

    工業(yè)投影設計——不只是為了觀看
    發(fā)表于 11-02 08:15 ?0次下載
    工業(yè)投影設計——<b class='flag-5'>不只是</b>為了觀看

    愛可生向量數(shù)據(jù)庫基于昇騰AI實現(xiàn)全面升級

    ? ? 近日,在深圳昇騰創(chuàng)新中心的支持下,愛可生向量數(shù)據(jù)庫(TensorDB)完成了與華為Atlas 800推理服務器和全場景AI框架昇思MindSpore的兼容性測試,實現(xiàn)了愛可生向量檢索技術與昇
    的頭像 發(fā)表于 03-23 10:40 ?1395次閱讀

    向量數(shù)據(jù)庫是如何工作的?

    向量數(shù)據(jù)庫和 Embedding 是當前 AI 領域的熱門話題。
    的頭像 發(fā)表于 06-18 11:06 ?1155次閱讀
    <b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>是如何工作的?

    北美有的,中國也有了!Zilliz Cloud向量數(shù)據(jù)庫云服務重磅登場

    Milvus自2019年正式開源以來,已經成長為全球最大、最活躍的向量數(shù)據(jù)庫開源項目與開發(fā)者社區(qū)。作為Milvus背后的開發(fā)者與運營者,Zilliz一直走在向量數(shù)據(jù)庫的最前沿,始終秉承
    的頭像 發(fā)表于 07-12 16:30 ?1576次閱讀
    北美有的,中國也有了!Zilliz Cloud<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>云服務重磅登場

    向量數(shù)據(jù)庫:AI時代的下一個熱點

    AI大模型帶火了向量數(shù)據(jù)庫
    的頭像 發(fā)表于 08-08 22:45 ?600次閱讀

    什么是向量數(shù)據(jù)庫?關系數(shù)據(jù)庫向量數(shù)據(jù)庫之間的區(qū)別是什么?

    向量數(shù)據(jù)庫是一種以向量嵌入(高維向量)方式存儲和管理非結構化數(shù)據(jù)(如文本、圖像或音頻)的數(shù)據(jù)庫,
    的頭像 發(fā)表于 08-16 10:13 ?3099次閱讀
    什么是<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>?關系<b class='flag-5'>數(shù)據(jù)庫</b>和<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>之間的區(qū)別是什么?

    探尋向量數(shù)據(jù)庫爆火的真相,Zilliz 技術合伙人帶你解惑

    大模型時代的到來將向量數(shù)據(jù)庫的熱度推向了高點,在此氛圍下,有人發(fā)出了哲學家般的一問:究竟是大模型選擇了向量數(shù)據(jù)庫還是向量
    的頭像 發(fā)表于 09-28 11:40 ?739次閱讀
    探尋<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>爆火的真相,Zilliz 技術合伙人帶你解惑

    搭載英偉達GPU,全球領先的向量數(shù)據(jù)庫公司Zilliz發(fā)布Milvus2.4向量數(shù)據(jù)庫

    在美國硅谷圣何塞召開的 NVIDIA GTC 大會上,全球領先的向量數(shù)據(jù)庫公司 Zilliz 發(fā)布了 Milvus 2.4 版本。這是一款革命性的向量數(shù)據(jù)庫系統(tǒng),在業(yè)界首屈一指,它首次
    的頭像 發(fā)表于 04-01 14:33 ?934次閱讀
    搭載英偉達GPU,全球領先的<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>公司Zilliz發(fā)布Milvus2.4<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>

    科技云報到:大模型時代下,向量數(shù)據(jù)庫的野望

    科技云報到:大模型時代下,向量數(shù)據(jù)庫的野望
    的頭像 發(fā)表于 10-14 17:18 ?507次閱讀