milvus 向量數(shù)據(jù)庫安裝

milvus 簡介

Milvus 是一個(gè)開源的向量數(shù)據(jù)庫，專門為處理和分析大規(guī)模向量數(shù)據(jù)而設(shè)計(jì)。它適用于需要高效存儲、檢索和管理向量數(shù)據(jù)的應(yīng)用場景，如機(jī)器學(xué)習(xí)、人工智能、計(jì)算機(jī)視覺和自然語言處理等。以下是 Milvus 的一些關(guān)鍵特性和功能：
官方文檔：https://milvus.io/docs/zh

主要特性

1.高效的向量檢索：

? Milvus 支持多種高效的向量檢索算法，包括基于內(nèi)存的和基于磁盤的索引，能夠快速處理大規(guī)模向量數(shù)據(jù)。

2.靈活的數(shù)據(jù)模型：

? Milvus 允許用戶存儲和管理不同類型的數(shù)據(jù)，包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，支持多種數(shù)據(jù)格式。

3.高并發(fā)處理：

? Milvus 能夠支持高并發(fā)的查詢請求，適合實(shí)時(shí)應(yīng)用場景。

4.可擴(kuò)展性：

? Milvus 支持水平擴(kuò)展，可以根據(jù)需求增加節(jié)點(diǎn)，以處理更大的數(shù)據(jù)集和更多的查詢請求。

5.多種編程語言支持：

? Milvus 提供多種語言的 SDK，包括 Python、Java、Go 和 C++，方便開發(fā)者在不同的應(yīng)用程序中集成。

6.集成機(jī)器學(xué)習(xí)框架：

? Milvus 可以與主流的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)框架（如 TensorFlow 和 PyTorch）集成，便于處理和分析向量數(shù)據(jù)。

7.支持多種索引類型：

? Milvus 提供多種索引類型（如 IVF、HNSW 和 ANNOY），用戶可以根據(jù)具體需求選擇合適的索引方式，以優(yōu)化檢索性能。

8.多種存儲后端：

? Milvus 支持多種存儲后端，包括本地存儲和云存儲，用戶可以根據(jù)需要選擇合適的存儲方案。

應(yīng)用場景

?圖像和視頻檢索：在計(jì)算機(jī)視覺應(yīng)用中，Milvus 可以用于圖像和視頻的相似性檢索。

?自然語言處理：在 NLP 應(yīng)用中，Milvus 可以用于文本向量的檢索和分析。

?推薦系統(tǒng)：Milvus 可以幫助構(gòu)建個(gè)性化推薦系統(tǒng)，通過用戶行為數(shù)據(jù)進(jìn)行向量檢索。

?生物信息學(xué)：在生物信息學(xué)領(lǐng)域，Milvus 可以用于基因數(shù)據(jù)和蛋白質(zhì)數(shù)據(jù)的分析和檢索。

總結(jié)

Milvus 是一個(gè)強(qiáng)大的向量數(shù)據(jù)庫，適合需要高性能向量檢索和分析的各種應(yīng)用場景。它的設(shè)計(jì)使得數(shù)據(jù)存儲和檢索變得高效且靈活，能夠滿足現(xiàn)代數(shù)據(jù)驅(qū)動應(yīng)用的需求。

milvus 安裝

初始化主機(jī)掛載目錄

mkdir-p /zpaas/volumes/etcd
mkdir-p /zpaas/volumes/milvus
mkdir-p /zpaas/volumes/minio
chmod700 /zpaas/volumes/etcd

docker-compose-milvus.yml

version:'3.5'
services:
etcd:
 container_name:milvus-etcd
 image:hub-nj.iwhalecloud.com/zcm_k8s/etcd:3.5.6-0
 environment:
  -ETCD_AUTO_COMPACTION_MODE=revision
  -ETCD_AUTO_COMPACTION_RETENTION=1000
  -ETCD_QUOTA_BACKEND_BYTES=4294967296
  -ETCD_SNAPSHOT_COUNT=50000
 volumes:
  -/zpaas/volumes/etcd:/etcd
 ports:
  -"3379:3379"
 command:etcd-advertise-client-urls=http://127.0.0.1:3379-listen-client-urlshttp://0.0.0.0:3379--data-dir/etcd
 healthcheck:
  test:["CMD","etcdctl","endpoint","health"]
  interval:5s
  timeout:3s
  retries:10

minio:
 container_name:milvus-minio
 image:hub-nj.iwhalecloud.com/public/minio:RELEASE.2023-03-20T20-16-18Z
 environment:
  MINIO_ACCESS_KEY:minioadmin
  MINIO_SECRET_KEY:minioadmin
 ports:
  -"9001:9001"
  -"9000:9000"
 volumes:
  -/zpaas/volumes/minio:/minio_data
 command:minioserver/minio_data--console-address":9001"
 healthcheck:
  test:["CMD","curl","-f","http://localhost:9000/minio/health/live"]
  interval:5s
  timeout:3s
  retries:10

standalone:
 container_name:milvus-standalone
 image:hub-nj.iwhalecloud.com/public/milvus:v2.4.5
 command:["milvus","run","standalone"]
 security_opt:
  -seccomp:unconfined
 environment:
  ETCD_ENDPOINTS:etcd:3379
  MINIO_ADDRESS:minio:9000
 volumes:
  -/zpaas/volumes/milvus:/var/lib/milvus
 healthcheck:
  test:["CMD","curl","-f","http://localhost:9091/healthz"]
  interval:30s
  start_period:90s
  timeout:20s
  retries:3
 ports:
  -"19530:19530"
  -"9091:9091"
 depends_on:
  -"etcd"
  -"minio"

networks:
default:
 name:milvus

啟動

`docker-compose -f docker-compose-milvus.yml up -d`

查看

root@10.10.194.210[/zpaas/volumes]# docker ps -a | grep milvus
df9f6e31a2f6  hub-nj.iwhalecloud.com/public/milvus:v2.4.5            "/tini -- milvus run…" 33 minutes ago    Up 33 minutes (healthy)   0.0.0.0:9091->9091/tcp, :::9091->9091/tcp, 0.0.0.0:19530->19530/tcp, :::19530->19530/tcp  milvus-standalone
3e4c32da554c  hub-nj.iwhalecloud.com/public/minio:RELEASE.2023-03-20T20-16-18Z "/usr/bin/docker-ent…" 33 minutes ago    Up 33 minutes (healthy)   0.0.0.0:9000-9001->9000-9001/tcp, :::9000-9001->9000-9001/tcp               milvus-minio
be224b2f19d7  hub-nj.iwhalecloud.com/zcm_k8s/etcd:3.5.6-0            "etcd -advertise-cli…" 33 minutes ago    Up 33 minutes (unhealthy)  2379-2380/tcp, 4001/tcp, 7001/tcp, 0.0.0.0:3379->3379/tcp, :::3379->3379/tcp        milvus-etcd
root@10.10.194.210[/zpaas/volumes]# dockerexec-it milvus-etcd etcdctl --endpoints=http://127.0.0.1:3379 endpoint health
http://127.0.0.1:3379 is healthy: successfully committed proposal: took = 9.597225ms

attu 安裝

attu 為 milvus 的一款圖形化管理工具，非常方便對 milvus 的一些管理

docker run -d 
--name=attu 
-p 8000:3000 
-e MILVUS_URL=10.10.194.210:19530 
hub-nj.iwhalecloud.com/public/attu:v2.3.9

minio 訪問

minioadmin / minioadmin
http://x.x.x.x:9001

鏈接:https://blog.csdn.net/shenyuanhaojie/article/details/146561917