一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何運行Search和JSON的可實現(xiàn)吞吐量

馬哥Linux運維 ? 來源:馬哥Linux運維 ? 作者:馬哥Linux運維 ? 2022-09-07 16:14 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

一、概述

近期官網(wǎng)給出了RedisJson(RedisSearch)的性能測試報告,可謂碾壓其他NoSQL,下面是核心的報告內(nèi)容,先上結(jié)論:

對于隔離寫入(isolated writes),RedisJSON 比 MongoDB 快 5.4 倍,比 ElasticSearch 快 200 倍以上。

對于隔離讀取(isolated reads),RedisJSON 比 MongoDB 快 12.7 倍,比 ElasticSearch 快 500 倍以上。

在混合工作負(fù)載場景中,實時更新不會影響 RedisJSON 的搜索和讀取性能,而 ElasticSearch 會受到影響。以下是具體的數(shù)據(jù):

RedisJSON* 支持的操作數(shù)/秒比 MongoDB 高約 50 倍,比 ElasticSearch 高 7 倍/秒。

RedisJSON* 的延遲比 MongoDB 低約 90 倍,比 ElasticSearch 低 23.7 倍。

此外,RedisJSON 的讀取、寫入和負(fù)載搜索延遲在更高的百分位數(shù)中遠(yuǎn)比 ElasticSearch 和 MongoDB 穩(wěn)定。當(dāng)增加寫入比率時,RedisJSON 還能處理越來越高的整體吞吐量,而當(dāng)寫入比率增加時,ElasticSearch 會降低它可以處理的整體吞吐量。

二、查詢引擎

如前所述,reresearch和RedisJSON的開發(fā)非常強調(diào)性能。對于每一個版本,我們都想確保開發(fā)者可以體驗到穩(wěn)定和產(chǎn)品。為此,我們我們給出了一些分析工具、探測器來進行性能分析。

并且,我們每次發(fā)行新版本時時,也在不斷的提升性能。特別是對于reresearch來說,2.2版本在加載和查詢性能上都比2.0快了1.7倍,同時還改進了吞吐量和數(shù)據(jù)加載的延遲。

2.1 加載優(yōu)化

接下來的兩個圖顯示了運行紐約市出租車基準(zhǔn)測試的運行結(jié)果

23cdb1b6-2b96-11ed-ba43-dac502259ad0.png

23f27ec4-2b96-11ed-ba43-dac502259ad0.png

從這些圖表中可以看出,每一個reresearch的新版本都有一個實質(zhì)性的性能改進。

2.2 全文搜索優(yōu)化

為了評估搜索性能,我們索引了590萬篇維基百科摘要。然后我們運行一個全文搜索查詢面板,得到的結(jié)果如下圖所示。

24011948-2b96-11ed-ba43-dac502259ad0.png

24112dce-2b96-11ed-ba43-dac502259ad0.png

從上面的圖可以看出,通過從v2.0遷移到v2.2,同樣的數(shù)據(jù),在寫、讀、搜索(延遲圖)方面都有了大幅度的改進,從而提高了運行Search和JSON的可實現(xiàn)吞吐量。

三、和其他框架的對比

為了評估RedisJSON的性能,我們決定將它與MongoDB和ElasticSearch進行比較。為了方便對比,我們會從文檔存儲、本地可用、云中可用、專業(yè)支持和提供可伸縮性、性能等方面進行全方位的對比。

我們使用了完善的YCSB標(biāo)準(zhǔn)來進行測試對比,它能夠基于常見的工作負(fù)載來評估不同的產(chǎn)品,測量延遲、吞吐量曲線直到飽和。除了CRUD YCSB操作之外,我們還添加了一個兩個字的搜索操作,專門幫助開發(fā)人員、系統(tǒng)架構(gòu)師和DevOps從業(yè)者找到適合他們用例的最佳搜索引擎。

3.1 基準(zhǔn)測試

此次測試,我們使用了如下的一些軟件環(huán)境:

MongoDB v5.0.3

ElasticSearch 7.15

RedisJSON (RediSearch 2.2+RedisJSON 2.0)

此次是在Amazon Web Services 實例上運行基準(zhǔn)測試,這三種解決方案都是分布式數(shù)據(jù)庫,并且最常用于生產(chǎn)中的分布式方式。這就是為什么所有產(chǎn)品都使用相同的通用 m5d.8xlarge VM 和本地 SSD,并且每個設(shè)置由四個 VM 組成:一個客戶端 + 三個數(shù)據(jù)庫服務(wù)器?;鶞?zhǔn)測試客戶端和數(shù)據(jù)庫服務(wù)器都在處于最佳網(wǎng)絡(luò)條件下的單獨 m5d.8xlarge 實例上運行,將實例緊密地打包在一個可用區(qū)內(nèi),實現(xiàn)穩(wěn)態(tài)分析所需的低延遲和穩(wěn)定的網(wǎng)絡(luò)性能。

測試是在三節(jié)點集群上執(zhí)行的,部署細(xì)節(jié)如下:

MongoDB 5.0.3:三成員副本集(Primary-Secondary-Secondary)。副本用于增加讀取容量并允許更低的延遲讀取。為了支持對字符串內(nèi)容的文本搜索查詢,在搜索字段上創(chuàng)建了一個文本索引。

ElasticSearch 7.15:15 個分片設(shè)置,啟用查詢緩存,并為 2 個基于 NVMe 的本地 SSD 提供 RAID 0 陣列,以實現(xiàn)更高級別的文件系統(tǒng)相關(guān)彈性操作性能。這 15 個分片為我們?yōu)?Elastic 所做的所有分片變體提供了可實現(xiàn)的最佳性能結(jié)果。

RedisJSON*:RediSearch 2.2 and RedisJSON 2.0: OSS Redis Cluster v6.2.6,有27個分片,均勻分布在三個節(jié)點上,加載了RediSearch 2.2和RedisJSON 2.0 OSS模塊。

除了這個主要的基準(zhǔn)/性能分析場景之外,我們還在網(wǎng)絡(luò)、內(nèi)存、CPU 和 I/O 上運行基準(zhǔn)基準(zhǔn)測試,以了解底層網(wǎng)絡(luò)和虛擬機特性。在整個基準(zhǔn)測試集期間,網(wǎng)絡(luò)性能保持在帶寬和 PPS 的測量限制以下,以產(chǎn)生穩(wěn)定穩(wěn)定的超低延遲網(wǎng)絡(luò)傳輸(每個數(shù)據(jù)包 p99 < 100micros)。

接下來,我們將從提供單獨的操作性能 [100% 寫入] 和 [100% 讀取] 開始,并以一組混合工作負(fù)載結(jié)束以模擬現(xiàn)實工作中的應(yīng)用程序場景。

3.2 100% 寫入基準(zhǔn)

如下圖所示,該基準(zhǔn)測試表明,RedisJSON* 的攝取速度比 ElasticSearch 快 8.8 倍,比 MongoDB 快 1.8 倍,同時保持每個操作的亞毫秒級延遲。值得注意的是,99% 的 Redis 請求在不到 1.5 毫秒的時間內(nèi)完成。

此外,RedisJSON* 是我們測試過的唯一一種在每次寫入時自動更新其索引的解決方案。這意味著任何后續(xù)的搜索查詢都會找到更新的文檔。ElasticSearch 沒有這種細(xì)粒度的容量;它將攝取的文檔放在一個內(nèi)部隊列中,并且該隊列由服務(wù)器(不受客戶端控制)每 N 個文檔或每 M 秒刷新一次。他們稱這種方法為近實時 (NRT)。Apache Lucene 庫(它實現(xiàn)了 ElasticSearch 的全文功能)旨在快速搜索,但索引過程復(fù)雜且繁重。如這些 WRITE 基準(zhǔn)測試圖表所示,由于這種“設(shè)計”限制,ElasticSearch 付出了巨大的代價。

結(jié)合延遲和吞吐量改進,RedisJSON* 比 Mongodb 快 5.4 倍,比 ElasticSearch 快 200 倍以上,用于隔離寫入。

241f4850-2b96-11ed-ba43-dac502259ad0.png

2431f752-2b96-11ed-ba43-dac502259ad0.png

3.3 100% 讀取基準(zhǔn)

與寫類似,我們可以觀察到 Redis 在讀取方面表現(xiàn)最佳,允許讀取比 ElasticSearch 多 15.8 倍,比 MongoDB 多 2.8 倍,同時在整個延遲范圍內(nèi)保持亞毫秒級延遲,如下表所示。

在結(jié)合延遲和吞吐量改進時,RedisJSON* 比 MongoDB 快 12.7 倍,比 ElasticSearch 快 500 倍以上,用于隔離讀取。

24454c80-2b96-11ed-ba43-dac502259ad0.png

24635d60-2b96-11ed-ba43-dac502259ad0.png

3.4 混合讀/寫/搜索基準(zhǔn)

實際應(yīng)用程序工作負(fù)載幾乎總是讀取、寫入和搜索查詢的混合。因此,在接近飽和時了解由此產(chǎn)生的混合工作負(fù)載吞吐量曲線更為重要。

作為起點,我們考慮了 65% 搜索和 35% 讀取的場景,這代表了一個常見的現(xiàn)實世界場景,在該場景中,我們執(zhí)行的搜索/查詢比直接讀取更多。65% 搜索、35% 讀取和 0% 更新的初始組合也導(dǎo)致 ElasticSearch 和 RedisJSON* 的吞吐量相等。盡管如此,YCSB 工作負(fù)載允許您指定搜索/讀取/更新之間的比率以滿足您的要求。

“搜索性能”可以指不同類型的搜索,例如“匹配查詢搜索”、“分面搜索”、“模糊搜索”等等。我們所做的最初向 YCSB 增加的搜索工作負(fù)載僅專注于“匹配查詢搜索”,模仿分頁的兩詞查詢匹配,按數(shù)字字段排序。“匹配查詢搜索”是任何啟用搜索功能的供應(yīng)商進行搜索分析的起點,因此,每個支持 YCSB 的數(shù)據(jù)庫/驅(qū)動程序都應(yīng)該能夠在其基準(zhǔn)驅(qū)動程序上輕松啟用此功能。

在每個測試變體中,我們添加了 10% 的寫入,以按相同的比例混合和減少搜索和讀取百分比。這些測試變體的目標(biāo)是了解每個產(chǎn)品如何處理數(shù)據(jù)的實時更新,我們認(rèn)為這是事實上的架構(gòu)目標(biāo),即寫入立即提交到索引,讀取始終是最新的。

24796eca-2b96-11ed-ba43-dac502259ad0.png

正如您在圖表中所看到的,在 RedisJSON* 上不斷更新數(shù)據(jù)和增加寫入比例不會影響讀取或搜索性能并提高整體吞吐量。對數(shù)據(jù)產(chǎn)生的更新越多,對 ElasticSearch 性能的影響就越大,最終導(dǎo)致讀取和搜索速度變慢。

ElasticSearch 可實現(xiàn)的 ops/sec 從 0% 更新到 50% 的演變,我們注意到它在 0% 更新基準(zhǔn)上以 10k Ops/sec 開始,并受到嚴(yán)重影響,減少了 5 倍的 ops/sec,在50% 更新率基準(zhǔn)。

與我們在上述單個操作基準(zhǔn)中觀察到的類似,MongoDB 搜索性能比 RedisJSON* 和 ElasticSearch 慢兩個數(shù)量級,MongoDB 的最大總吞吐量為 424 ops/sec,而 RedisJSON* 為 16K 最大 ops/sec。

最后,對于混合工作負(fù)載,RedisJSON* 支持的操作數(shù)/秒比 MongoDB 高 50.8 倍,比 ElasticSearch 高 7 倍。如果我們將分析集中在混合工作負(fù)載期間的每種操作類型的延遲上,與 MongoDB 相比,RedisJSON* 可將延遲降低多達 91 倍,與 ElasticSearch 相比,延遲降低 23.7 倍。

3.5 完整延遲分析

與測量每個解決方案飽和之前產(chǎn)生的吞吐量曲線類似,在所有解決方案通用的可持續(xù)負(fù)載下進行完整的延遲分析也很重要。這將使您能夠了解對于所有已發(fā)布操作在延遲方面最穩(wěn)定的解決方案是什么,以及哪種解決方案不易受到應(yīng)用程序邏輯引發(fā)的延遲峰值的影響(例如,彈性查詢緩存未命中)。如果您想更深入地了解我們?yōu)槭裁匆@樣做,Gil Tene 提供了延遲測量注意事項的深入概述。

查看上一節(jié)的吞吐量圖表,并關(guān)注 10% 更新基準(zhǔn)以包含所有三個操作,我們做了兩種不同的可持續(xù)負(fù)載變化:

250 ops/sec:比較 MongoDB、ElasticSearch 和 RedisJSON*,低于 MongoDB 的壓力率。

6000 ops/sec:比較 ElasticSearch 和 RedisJSON*,低于 ElasticSearch 壓力率。

3.5.1 MongoDB 與 ElasticSearch 與 RedisJSON* 的延遲分析

在下面的第一張圖片中,展示了從 p0 到 p9999 的百分位數(shù),很明顯,在每次搜索時,MongoDB 的表現(xiàn)都遠(yuǎn)遠(yuǎn)優(yōu)于 Elastic 和 RedisJSON。此外,關(guān)注 ElasticSearch 與 RedisJSON,很明顯,ElasticSearch 容易受到較高延遲的影響,這很可能是由垃圾收集 (GC) 觸發(fā)器或搜索查詢緩存未命中引起的。RedisJSON* 的 p99 低于 2.61 毫秒,而 ElasticSearch p999 搜索達到 10.28 毫秒。

2493a51a-2b96-11ed-ba43-dac502259ad0.png

在下面的讀取和更新圖表中,我們可以看到 RedisJSON* 在所有延遲范圍內(nèi)表現(xiàn)最佳,其次是 MongoDB 和 ElasticSearch。

RedisJSON* 是在所有分析的延遲百分位數(shù)上保持亞毫秒級延遲的唯一解決方案。在 p99,RedisJSON* 的延遲為 0.23 毫秒,其次是 MongoDB 的 5.01 毫秒和 ElasticSearch 的 10.49 毫秒。

24a59cb6-2b96-11ed-ba43-dac502259ad0.png

在寫入時,MongoDB 和 RedisJSON* 即使在 p99 時也能保持亞毫秒級的延遲。另一方面,ElasticSearch 顯示出高尾延遲(> 10 毫秒),這很可能與導(dǎo)致 ElasticSearch 搜索峰值的原因 (GC) 相同。

24b6ac7c-2b96-11ed-ba43-dac502259ad0.png

3.5.2 ElasticSearch 與 RedisJSON 的延遲分析

僅關(guān)注 ElasticSearch 和 RedisJSON,在保持 6K ops/sec 的可持續(xù)負(fù)載的同時,我們可以觀察到 Elastic 和 RedisJSON 的讀取和更新模式與以 250 ops/sec 進行的分析保持一致。RedisJSON* 是更穩(wěn)定的解決方案,其 p99 讀取時間為 3 毫秒,而 Elastic 的 p99 讀取時間為 162 毫秒。

在更新時,RedisJSON* 保留了 3 毫秒的 p99,而 ElasticSearch 則保留了 167 毫秒的 p99。

24c22944-2b96-11ed-ba43-dac502259ad0.png

24d2883e-2b96-11ed-ba43-dac502259ad0.png

專注于搜索操作,ElasticSearch 和 RedisJSON* 以個位數(shù) p50 延遲開始(p50 RedisJSON* 為 1.13 毫秒,而 ElasticSearch 的 p50 為 2.79 毫秒),其中 ElasticSearch 付出了 GC 觸發(fā)和查詢緩存未命中的代價在較高的百分位數(shù)上,在 >= p90 百分位數(shù)上清晰可見。

RedisJSON* 將 p99 保持在 33 毫秒以下,而 ElasticSearch 上的 p99 百分位數(shù)為 163 毫秒,高出 5 倍。

24e46c48-2b96-11ed-ba43-dac502259ad0.png

四、如何開始

開始使用RedisJSON*,我們可以創(chuàng)建一個免費的數(shù)據(jù)庫在所有地區(qū)的Redis云,或者使用RedisJSON docker容器。我們已經(jīng)更新了redisjson的文檔,以方便開發(fā)者快速的開始使用查詢和搜索功能。此外,正如我們在最近的客戶機庫聲明中提到的,以下是幾種流行語言的客戶機驅(qū)動程序,可以幫助您快速入門。

RedisJSON*
Node.js node-redis
Java Jedis
.NET NRedisJSON NRediSearch
Python redis-py
審核編輯:彭靜
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 探測器
    +關(guān)注

    關(guān)注

    15

    文章

    2703

    瀏覽量

    74366
  • 數(shù)據(jù)
    +關(guān)注

    關(guān)注

    8

    文章

    7256

    瀏覽量

    91838
  • 吞吐量
    +關(guān)注

    關(guān)注

    0

    文章

    48

    瀏覽量

    12535

原文標(biāo)題:RedisJson發(fā)布官方性能報告,其性能碾壓ES和Mongo

文章出處:【微信號:magedu-Linux,微信公眾號:馬哥Linux運維】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    如何提高CYBT-243053-02吞吐量

    你好我們一直在使用“EZ-Serial Firmware: v1.4.13.13 Sep 22 2023 10:24:41”測試“CYBT-243053-02”,我們得到的吞吐量比 PUART 高
    發(fā)表于 02-27 06:56

    網(wǎng)卡吞吐量測試解決方案

    隨著互聯(lián)網(wǎng)的迅速發(fā)展,計算機日益成為人們生活中不可或缺的部分。伴隨著網(wǎng)絡(luò)業(yè)務(wù)的豐富,用戶對計算機網(wǎng)卡的要求也越來也高。如何對計算機網(wǎng)卡吞吐量進行合理的測試,已越來越成為眾多計算機網(wǎng)卡生產(chǎn)廠家日益關(guān)注
    發(fā)表于 12-23 11:07

    無線測試之吞吐量測試

    無線網(wǎng)絡(luò)測試之無線吞吐量測試方法、步驟
    發(fā)表于 06-25 08:40

    iperf固定吞吐量測試如何設(shè)置

    我有兩個CYW43907演示,并下載控制臺項目。我想使用IpFF命令來測試固定的UDP吞吐量。示例:IPEF-C 192.1680.1-P 5001 -I 2 -T 30 -U-B 60M,但客戶端
    發(fā)表于 11-06 14:09

    如何計算延遲和吞吐量?

    如何計算延遲和吞吐量?在ISE時序報告中,我們發(fā)現(xiàn)一個名為“最大組合路徑延遲”的參數(shù)是否與最大時鐘頻率有關(guān)?
    發(fā)表于 03-19 08:55

    提高BLE吞吐量的可行辦法

    提高BLE吞吐量的可行辦法如何實現(xiàn)更快的BLE吞吐量
    發(fā)表于 01-18 06:26

    如何利用NI LabVIEW技術(shù)提高測試系統(tǒng)的吞吐量?

    怎么可以創(chuàng)建出高性能的測試系統(tǒng)?如何利用NI LabVIEW技術(shù)提高測試系統(tǒng)的吞吐量?如何利用NI LabVIEW技術(shù)實現(xiàn)并行化處理和并行化測試?
    發(fā)表于 04-15 07:00

    如何通過觸發(fā)模型提高吞吐量?

    如何通過觸發(fā)模型提高吞吐量?
    發(fā)表于 05-11 07:00

    防火墻術(shù)語-吞吐量

    防火墻術(shù)語-吞吐量  術(shù)語名稱:吞吐量 術(shù)語解釋:網(wǎng)絡(luò)中的數(shù)據(jù)是由一個個數(shù)據(jù)包組成,防火
    發(fā)表于 02-24 11:06 ?1594次閱讀

    如何提高無線傳感器網(wǎng)絡(luò)的吞吐量

    吞吐量是無線傳感器網(wǎng)絡(luò)(Wireless Sensor Network,WSN)的一項重要性能指標(biāo),它直接反映了無線傳感器網(wǎng)絡(luò)工作運行的效率,如何提高吞吐量一直都是無線傳感器網(wǎng)絡(luò)研究的熱點。
    發(fā)表于 10-04 17:17 ?2875次閱讀
    如何提高無線傳感器網(wǎng)絡(luò)的<b class='flag-5'>吞吐量</b>

    debug 吞吐量的辦法

    Debug 網(wǎng)絡(luò)質(zhì)量的時候,我們一般會關(guān)注兩個因素:延遲和吞吐量(帶寬)。延遲比較好驗證,Ping 一下或者 mtr[1] 一下就能看出來。這篇文章分享一個 debug 吞吐量的辦法。
    的頭像 發(fā)表于 08-23 09:17 ?1199次閱讀

    debug 吞吐量的辦法

    Debug 網(wǎng)絡(luò)質(zhì)量的時候,我們一般會關(guān)注兩個因素:延遲和吞吐量(帶寬)。延遲比較好驗證,Ping 一下或者 mtr[1] 一下就能看出來。這篇文章分享一個 debug 吞吐量的辦法。
    的頭像 發(fā)表于 09-02 09:36 ?1092次閱讀

    設(shè)計人員如何實現(xiàn) Wi-Fi 三頻段千兆網(wǎng)速和高吞吐量

    設(shè)計人員如何實現(xiàn) Wi-Fi 三頻段千兆網(wǎng)速和高吞吐量
    的頭像 發(fā)表于 12-26 10:16 ?1102次閱讀
    設(shè)計人員如何<b class='flag-5'>實現(xiàn)</b> Wi-Fi 三頻段千兆網(wǎng)速和高<b class='flag-5'>吞吐量</b>

    iperf吞吐量的測試流程

    iperf吞吐量測試指南
    發(fā)表于 04-03 15:40 ?2次下載

    如何顯著提高ATE電源吞吐量?

    作為一名測試工程師,你的工作并不容易。降低成本和提高系統(tǒng)吞吐量的壓力一直存在。本文中,我們將討論影響系統(tǒng)吞吐量的關(guān)鍵因素以及如何降低ATE測試成本。
    的頭像 發(fā)表于 11-08 14:59 ?999次閱讀
    如何顯著提高ATE電源<b class='flag-5'>吞吐量</b>?