一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

ElasticSearch的原理是什么?

數(shù)據(jù)分析與開發(fā) ? 來(lái)源:Richaaaard ? 作者:Richaaaard ? 2020-12-14 11:18 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

Elasticsearch 是一款功能強(qiáng)大的開源分布式搜索與數(shù)據(jù)分析引擎,目前國(guó)內(nèi)諸多互聯(lián)網(wǎng)大廠都在使用,包括攜程、滴滴、今日頭條、餓了么、360 安全、小米、vivo 等。

除了搜索之外,結(jié)合 Kibana、Logstash、Beats,Elastic Stack 還被廣泛運(yùn)用在大數(shù)據(jù)近實(shí)時(shí)分析領(lǐng)域,包括日志分析、指標(biāo)監(jiān)控、信息安全等多個(gè)領(lǐng)域。

它可以幫助你探索海量結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù),按需創(chuàng)建可視化報(bào)表,對(duì)監(jiān)控?cái)?shù)據(jù)設(shè)置報(bào)警閾值,甚至通過(guò)使用機(jī)器學(xué)習(xí)技術(shù),自動(dòng)識(shí)別異常狀況。

今天,我們先自上而下,后自底向上的介紹ElasticSearch的底層工作原理,并試圖回答以下問(wèn)題:

為什么我的搜索*foo-bar*無(wú)法匹配 foo-bar ?

為什么增加更多的文件會(huì)壓縮索引(Index)?

為什么 ElasticSearch 占用很多內(nèi)存?

圖解 ElasticSearch

elasticsearch 版本:elasticsearch-2.2.0。

①云上的集群

如下圖:

②集群里的盒子

云里面的每個(gè)白色正方形的盒子代表一個(gè)節(jié)點(diǎn)——Node。

③節(jié)點(diǎn)之間

在一個(gè)或者多個(gè)節(jié)點(diǎn)直接,多個(gè)綠色小方塊組合在一起形成一個(gè) ElasticSearch 的索引。

④索引里的小方塊

在一個(gè)索引下,分布在多個(gè)節(jié)點(diǎn)里的綠色小方塊稱為分片——Shard。

⑤Shard=Lucene Index

一個(gè) ElasticSearch 的 Shard 本質(zhì)上是一個(gè) Lucene Index。

999cf1f8-35a8-11eb-a64d-12bb97331649.png

Lucene 是一個(gè) Full Text 搜索庫(kù)(也有很多其他形式的搜索庫(kù)),ElasticSearch 是建立在 Lucene 之上的。

接下來(lái)的故事要說(shuō)的大部分內(nèi)容實(shí)際上是 ElasticSearch 如何基于 Lucene 工作的。

圖解 Lucene

Mini 索引:Segment

在 Lucene 里面有很多小的 Segment,我們可以把它們看成 Lucene 內(nèi)部的 mini-index。

99d6879c-35a8-11eb-a64d-12bb97331649.png

Segment 內(nèi)部

Segment 內(nèi)部有著許多數(shù)據(jù)結(jié)構(gòu),如上圖:

Inverted Index

Stored Fields

Document Values

Cache

最最重要的 Inverted Index

如下圖:

9ac06c4a-35a8-11eb-a64d-12bb97331649.png

Inverted Index 主要包括兩部分:

一個(gè)有序的數(shù)據(jù)字典 Dictionary(包括單詞 Term 和它出現(xiàn)的頻率)。

與單詞 Term 對(duì)應(yīng)的 Postings(即存在這個(gè)單詞的文件)。

當(dāng)我們搜索的時(shí)候,首先將搜索的內(nèi)容分解,然后在字典里找到對(duì)應(yīng) Term,從而查找到與搜索相關(guān)的文件內(nèi)容。

9bb8e3de-35a8-11eb-a64d-12bb97331649.png

①查詢“the fury”

如下圖:

9bfe663e-35a8-11eb-a64d-12bb97331649.png

②自動(dòng)補(bǔ)全(AutoCompletion-Prefix)

如果想要查找以字母“c”開頭的字母,可以簡(jiǎn)單的通過(guò)二分查找(Binary Search)在 Inverted Index 表中找到例如“choice”、“coming”這樣的詞(Term)。

9c6f2a36-35a8-11eb-a64d-12bb97331649.png

③昂貴的查找

如果想要查找所有包含“our”字母的單詞,那么系統(tǒng)會(huì)掃描整個(gè) Inverted Index,這是非常昂貴的。

9d16248a-35a8-11eb-a64d-12bb97331649.png

在此種情況下,如果想要做優(yōu)化,那么我們面對(duì)的問(wèn)題是如何生成合適的 Term。

④問(wèn)題的轉(zhuǎn)化

如下圖:

9d8c7fcc-35a8-11eb-a64d-12bb97331649.png

對(duì)于以上諸如此類的問(wèn)題,我們可能會(huì)有幾種可行的解決方案:

* suffix→xiffus *,如果我們想以后綴作為搜索條件,可以為 Term 做反向處理。

(60.6384, 6.5017)→ u4u8gyykk,對(duì)于 GEO 位置信息,可以將它轉(zhuǎn)換為 GEO Hash。

123→{1-hundreds, 12-tens, 123},對(duì)于簡(jiǎn)單的數(shù)字,可以為它生成多重形式的 Term。

⑤解決拼寫錯(cuò)誤

一個(gè) Python 庫(kù)為單詞生成了一個(gè)包含錯(cuò)誤拼寫信息的樹形狀態(tài)機(jī),解決拼寫錯(cuò)誤的問(wèn)題。

9dd64238-35a8-11eb-a64d-12bb97331649.png

⑥Stored Field 字段查找

當(dāng)我們想要查找包含某個(gè)特定標(biāo)題內(nèi)容的文件時(shí),Inverted Index 就不能很好的解決這個(gè)問(wèn)題,所以 Lucene 提供了另外一種數(shù)據(jù)結(jié)構(gòu) Stored Fields 來(lái)解決這個(gè)問(wèn)題。

本質(zhì)上,Stored Fields 是一個(gè)簡(jiǎn)單的鍵值對(duì) key-value。默認(rèn)情況下,ElasticSearch 會(huì)存儲(chǔ)整個(gè)文件的 JSON source。

9e2e11de-35a8-11eb-a64d-12bb97331649.png

⑦Document Values 為了排序,聚合

即使這樣,我們發(fā)現(xiàn)以上結(jié)構(gòu)仍然無(wú)法解決諸如:排序、聚合、facet,因?yàn)槲覀兛赡軙?huì)要讀取大量不需要的信息。

所以,另一種數(shù)據(jù)結(jié)構(gòu)解決了此種問(wèn)題:Document Values。這種結(jié)構(gòu)本質(zhì)上就是一個(gè)列式的存儲(chǔ),它高度優(yōu)化了具有相同類型的數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)。

9f87e6b8-35a8-11eb-a64d-12bb97331649.png

為了提高效率,ElasticSearch 可以將索引下某一個(gè) Document Value 全部讀取到內(nèi)存中進(jìn)行操作,這大大提升訪問(wèn)速度,但是也同時(shí)會(huì)消耗掉大量的內(nèi)存空間。

總之,這些數(shù)據(jù)結(jié)構(gòu) Inverted Index、Stored Fields、Document Values 及其緩存,都在 segment 內(nèi)部。

搜索發(fā)生時(shí)

搜索時(shí),Lucene 會(huì)搜索所有的 Segment 然后將每個(gè) Segment 的搜索結(jié)果返回,最后合并呈現(xiàn)給客戶。

Lucene 的一些特性使得這個(gè)過(guò)程非常重要:

Segments 是不可變的(immutable):Delete?當(dāng)刪除發(fā)生時(shí),Lucene 做的只是將其標(biāo)志位置為刪除,但是文件還是會(huì)在它原來(lái)的地方,不會(huì)發(fā)生改變。

Update?所以對(duì)于更新來(lái)說(shuō),本質(zhì)上它做的工作是:先刪除,然后重新索引(Re-index)。

隨處可見的壓縮:Lucene 非常擅長(zhǎng)壓縮數(shù)據(jù),基本上所有教科書上的壓縮方式,都能在 Lucene 中找到。

緩存所有的所有:Lucene 也會(huì)將所有的信息做緩存,這大大提高了它的查詢效率。

緩存的故事

當(dāng) ElasticSearch 索引一個(gè)文件的時(shí)候,會(huì)為文件建立相應(yīng)的緩存,并且會(huì)定期(每秒)刷新這些數(shù)據(jù),然后這些文件就可以被搜索到。

a00bb60a-35a8-11eb-a64d-12bb97331649.png

隨著時(shí)間的增加,我們會(huì)有很多 Segments,如下圖:

a1061640-35a8-11eb-a64d-12bb97331649.png

所以 ElasticSearch 會(huì)將這些 Segment 合并,在這個(gè)過(guò)程中,Segment 會(huì)最終被刪除掉。

a176fe46-35a8-11eb-a64d-12bb97331649.png

這就是為什么增加文件可能會(huì)使索引所占空間變小,它會(huì)引起 Merge,從而可能會(huì)有更多的壓縮。

舉個(gè)栗子

有兩個(gè) Segment 將會(huì) Merge:

a1e9b3d2-35a8-11eb-a64d-12bb97331649.png

這兩個(gè) Segment 最終會(huì)被刪除,然后合并成一個(gè)新的 Segment,如下圖:

a2228478-35a8-11eb-a64d-12bb97331649.png

這時(shí)這個(gè)新的 Segment 在緩存中處于 Cold 狀態(tài),但是大多數(shù) Segment 仍然保持不變,處于 Warm 狀態(tài)。

以上場(chǎng)景經(jīng)常在 Lucene Index 內(nèi)部發(fā)生的,如下圖:

在 Shard 中搜索

ElasticSearch 從 Shard 中搜索的過(guò)程與 Lucene Segment 中搜索的過(guò)程類似。

與在 Lucene Segment 中搜索不同的是,Shard 可能是分布在不同 Node 上的,所以在搜索與返回結(jié)果時(shí),所有的信息都會(huì)通過(guò)網(wǎng)絡(luò)傳輸。

需要注意的是:1 次搜索查找 2 個(gè) Shard=2 次分別搜索 Shard。

對(duì)于日志文件的處理:當(dāng)我們想搜索特定日期產(chǎn)生的日志時(shí),通過(guò)根據(jù)時(shí)間戳對(duì)日志文件進(jìn)行分塊與索引,會(huì)極大提高搜索效率。

當(dāng)我們想要?jiǎng)h除舊的數(shù)據(jù)時(shí)也非常方便,只需刪除老的索引即可。

a42fa2a0-35a8-11eb-a64d-12bb97331649.png

在上種情況下,每個(gè) Index 有兩個(gè) Shards。

如何 Scale

如下圖:

a4fccd20-35a8-11eb-a64d-12bb97331649.png

Shard 不會(huì)進(jìn)行更進(jìn)一步的拆分,但是 Shard 可能會(huì)被轉(zhuǎn)移到不同節(jié)點(diǎn)上。

a544eb28-35a8-11eb-a64d-12bb97331649.png

所以,如果當(dāng)集群節(jié)點(diǎn)壓力增長(zhǎng)到一定的程度,我們可能會(huì)考慮增加新的節(jié)點(diǎn),這就會(huì)要求我們對(duì)所有數(shù)據(jù)進(jìn)行重新索引,這是我們不太希望看到的。 所以我們需要在規(guī)劃的時(shí)候就考慮清楚,如何去平衡足夠多的節(jié)點(diǎn)與不足節(jié)點(diǎn)之間的關(guān)系。

節(jié)點(diǎn)分配與 Shard 優(yōu)化:

為更重要的數(shù)據(jù)索引節(jié)點(diǎn),分配性能更好的機(jī)器。

確保每個(gè) Shard 都有副本信息 Replica。

a5728042-35a8-11eb-a64d-12bb97331649.png

路由 Routing:每個(gè)節(jié)點(diǎn),每個(gè)都存留一份路由表,所以當(dāng)請(qǐng)求到任何一個(gè)節(jié)點(diǎn)時(shí),ElasticSearch 都有能力將請(qǐng)求轉(zhuǎn)發(fā)到期望節(jié)點(diǎn)的 Shard 進(jìn)一步處理。

a73ca18c-35a8-11eb-a64d-12bb97331649.png

一個(gè)真實(shí)的請(qǐng)求

如下圖:

aae90c44-35a8-11eb-a64d-12bb97331649.png

①Q(mào)uery

如下圖:

aeceda00-35a8-11eb-a64d-12bb97331649.png

Query 有一個(gè)類型 filtered,以及一個(gè) multi_match 的查詢。

②Aggregation

如下圖:

b276438c-35a8-11eb-a64d-12bb97331649.png

根據(jù)作者進(jìn)行聚合,得到 top10 的 hits 的 top10 作者的信息。

③請(qǐng)求分發(fā)

這個(gè)請(qǐng)求可能被分發(fā)到集群里的任意一個(gè)節(jié)點(diǎn),如下圖:

④上帝節(jié)點(diǎn)

如下圖:

b7968200-35a8-11eb-a64d-12bb97331649.png

這時(shí)這個(gè)節(jié)點(diǎn)就成為當(dāng)前請(qǐng)求的協(xié)調(diào)者(Coordinator),它決定:

根據(jù)索引信息,判斷請(qǐng)求會(huì)被路由到哪個(gè)核心節(jié)點(diǎn)。

以及哪個(gè)副本是可用的。

等等。

⑤路由

如下圖:

b8522d7a-35a8-11eb-a64d-12bb97331649.png

⑥在真實(shí)搜索之前

ElasticSearch 會(huì)將 Query 轉(zhuǎn)換成 Lucene Query,如下圖:

b8b45c48-35a8-11eb-a64d-12bb97331649.png

然后在所有的 Segment 中執(zhí)行計(jì)算,如下圖:

b9553fc8-35a8-11eb-a64d-12bb97331649.png

對(duì)于 Filter 條件本身也會(huì)有緩存,如下圖:

baad5e82-35a8-11eb-a64d-12bb97331649.png

但 Queries 不會(huì)被緩存,所以如果相同的 Query 重復(fù)執(zhí)行,應(yīng)用程序自己需要做緩存。

bbaf5b6e-35a8-11eb-a64d-12bb97331649.png

所以:

Filters 可以在任何時(shí)候使用。

Query 只有在需要 Score 的時(shí)候才使用。

⑦返回

搜索結(jié)束之后,結(jié)果會(huì)沿著下行的路徑向上逐層返回,如下圖:

bbf19628-35a8-11eb-a64d-12bb97331649.png

bd05aa2c-35a8-11eb-a64d-12bb97331649.png

bd4b75f2-35a8-11eb-a64d-12bb97331649.png

be351978-35a8-11eb-a64d-12bb97331649.png

bef78742-35a8-11eb-a64d-12bb97331649.png

原文標(biāo)題:圖解 ElasticSearch 原理,你可收好了!

文章出處:【微信公眾號(hào):數(shù)據(jù)分析與開發(fā)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯:haq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 數(shù)據(jù)
    +關(guān)注

    關(guān)注

    8

    文章

    7255

    瀏覽量

    91817
  • 互聯(lián)網(wǎng)
    +關(guān)注

    關(guān)注

    55

    文章

    11249

    瀏覽量

    106369

原文標(biāo)題:圖解 ElasticSearch 原理,你可收好了!

文章出處:【微信號(hào):DBDevs,微信公眾號(hào):數(shù)據(jù)分析與開發(fā)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    賦能超低功耗整流器設(shè)計(jì),安世半導(dǎo)體推出 1200 V、20 A SiC 肖特基二極管

    電子發(fā)燒友網(wǎng)報(bào)道(文 / 吳子鵬)碳化硅(SiC)作為第三代半導(dǎo)體材料的代表,近年來(lái)在全球范圍內(nèi)快速崛起。SiC 的禁帶寬度是硅(Si)的 3 倍,擊穿場(chǎng)強(qiáng)達(dá) Si 的 10 倍,熱導(dǎo)率為 Si 的 3 倍。這使得 SiC 器件在高溫、高壓、高頻場(chǎng)景下表現(xiàn)優(yōu)異。 ? 近日,基礎(chǔ)半導(dǎo)體器件領(lǐng)域的高產(chǎn)能生產(chǎn)專家 Nexperia(安世半導(dǎo)體)宣布,在其持續(xù)壯大的功率電子器件產(chǎn)品組合中新增兩款 1200 V、20 A SiC 肖特基二極管。PSC20120J 和 PSC20120L 專為滿足工業(yè)應(yīng)用中對(duì)超低功耗整流
    的頭像 發(fā)表于 07-16 00:57 ?981次閱讀

    比亞迪海外遭遇“專利流氓”,恐在此地全面禁售,并公開數(shù)據(jù)

    電子發(fā)燒友網(wǎng)綜合報(bào)道 近日,巴西里約熱內(nèi)盧第一商業(yè)法院作出裁決,認(rèn)定比亞迪侵犯了日本公司IP Bridge的兩項(xiàng)4G通信技術(shù)專利,被要求暫停在巴西銷售搭載相關(guān)技術(shù)的電動(dòng)汽車。 ? 此項(xiàng)裁決要求比亞迪在收到傳票后5天內(nèi)停用侵權(quán)技術(shù),否則每日罰款2萬(wàn)雷亞爾(約合2.58萬(wàn)元人民幣),累計(jì)上限60萬(wàn)雷亞爾(約77.4萬(wàn)元人民幣)。并且在10天內(nèi)提交受影響車輛清單、銷售數(shù)據(jù)及技術(shù)整改方案。 ? ? 這種除了需要停止銷售,同時(shí)還需要公開銷售數(shù)據(jù)的判罰非
    發(fā)表于 07-16 00:55 ?191次閱讀
    比亞迪海外遭遇“專利流氓”,恐在此地全面禁售,并公開數(shù)據(jù)

    如何二進(jìn)制安裝Linux集群

    ElasticSearch是使用Java語(yǔ)言開發(fā)的,所以運(yùn)行時(shí)依賴JDK。
    的頭像 發(fā)表于 06-17 14:49 ?157次閱讀

    單節(jié)點(diǎn)Elasticsearch+Filebeat+Kibana安裝指南

    單節(jié)點(diǎn)Elasticsearch+Filebeat+Kibana安裝指南
    的頭像 發(fā)表于 05-21 11:06 ?356次閱讀
    單節(jié)點(diǎn)<b class='flag-5'>Elasticsearch</b>+Filebeat+Kibana安裝指南

    如何在CentOS系統(tǒng)中部署ELK日志分析系統(tǒng)

    日志分析已成為企業(yè)監(jiān)控、故障排查和性能優(yōu)化的重要組成部分。ELK(Elasticsearch、Logstash 和 Kibana)堆棧作為一種強(qiáng)大的開源解決方案,提供了高效的日志收集、存儲(chǔ)和可視化
    的頭像 發(fā)表于 05-08 11:47 ?304次閱讀
    如何在CentOS系統(tǒng)中部署ELK日志分析系統(tǒng)

    華為云 X 實(shí)例部署 Docker 應(yīng)用的性能評(píng)測(cè)優(yōu)化與實(shí)踐指南

    ? 3.2 使用Docker部署Elasticsearch ? 3.3 使用Docker部署MySQL ? 3.4 使用Docker部署Nginx ? 4. 性能測(cè)試與評(píng)測(cè)標(biāo)準(zhǔn) ? 4.1 資源占用分析
    的頭像 發(fā)表于 01-23 18:03 ?435次閱讀
    華為云 X 實(shí)例部署 Docker 應(yīng)用的性能評(píng)測(cè)優(yōu)化與實(shí)踐指南

    如何在Linux環(huán)境下高效安裝部署和配置Elasticsearch

    /CentOS-7-x86_64-DVD-2009.iso elasticsearch-7.10.0-linux-x86_64.tar.gz https://www.elastic.co/cn/downloads/past-releases
    的頭像 發(fā)表于 01-16 11:49 ?1023次閱讀

    在華為云上通過(guò) Docker 容器部署 Elasticsearch 并進(jìn)行性能評(píng)測(cè)

    ? 2.2 安裝 Docker ? 2.3 啟動(dòng) Docker ? 3. 使用Docker部署Elasticsearch ? 3.1 拉取Elasticsearch鏡像 ? 3.2 啟動(dòng)
    的頭像 發(fā)表于 01-13 13:36 ?481次閱讀
    在華為云上通過(guò) Docker 容器部署 <b class='flag-5'>Elasticsearch</b> 并進(jìn)行性能評(píng)測(cè)

    構(gòu)建高效搜索解決方案,Elasticsearch &amp; Kibana 的完美結(jié)合

    前言 構(gòu)建高效搜索解決方案,F(xiàn)lexusX 服務(wù)器與 Elasticsearch & Kibana 的完美結(jié)合,為企業(yè)帶來(lái)云端搜索新體驗(yàn)。FlexusX 實(shí)例以其卓越性能與靈活擴(kuò)展性,確保高并發(fā)搜索
    的頭像 發(fā)表于 12-27 13:48 ?394次閱讀
    構(gòu)建高效搜索解決方案,<b class='flag-5'>Elasticsearch</b> &amp; Kibana 的完美結(jié)合

    企業(yè)如何用ELK技術(shù)棧實(shí)現(xiàn)數(shù)據(jù)流量爆炸式增長(zhǎng)

    ELK簡(jiǎn)介 什么是ELK 通俗來(lái)講,ELK 是由 Elasticsearch、Logstash、Kibana 三個(gè)開源軟件的組成的一個(gè)組合體,ELK 是 elastic 公司研發(fā)的一套完整的日志收集
    的頭像 發(fā)表于 12-19 11:38 ?664次閱讀
    企業(yè)如何用ELK技術(shù)棧實(shí)現(xiàn)數(shù)據(jù)流量爆炸式增長(zhǎng)

    Elasticsearch 再次開源

    Elasticsearch 和 Kibana 又可以被稱為開源了。很難表達(dá)這句話讓我有多高興。我激動(dòng)得簡(jiǎn)直要跳起來(lái)了。我們 Elastic 的所有人都是如此。開源是我的 DNA。這也是Elastic的DNA。能夠再次將 Elasticsearch 稱為開源,我感到非常高興
    的頭像 發(fā)表于 11-13 12:14 ?449次閱讀
    <b class='flag-5'>Elasticsearch</b> 再次開源

    啟明信息完成國(guó)產(chǎn)化Doris數(shù)據(jù)庫(kù)升級(jí)替代任務(wù)

    近日,隨著集團(tuán)公司監(jiān)控平臺(tái)(Elasticsearch集群)的下線,標(biāo)志著啟明信息正式完成國(guó)產(chǎn)化Doris數(shù)據(jù)庫(kù)升級(jí)替代任務(wù)。該項(xiàng)目既標(biāo)志著啟明信息信創(chuàng)升級(jí)替代邁入新臺(tái)階,同時(shí)也標(biāo)志著在Doris應(yīng)用領(lǐng)域取得自主研發(fā)新進(jìn)展。
    的頭像 發(fā)表于 09-20 09:33 ?2075次閱讀

    軟件系統(tǒng)的數(shù)據(jù)檢索設(shè)計(jì)

    軟件系統(tǒng)的數(shù)據(jù)檢索設(shè)計(jì) 隨著業(yè)務(wù)量加大,數(shù)據(jù)檢索量也會(huì)日益增多,為了減輕數(shù)據(jù)庫(kù)壓力,本系統(tǒng)采用ElasticSearch來(lái)實(shí)現(xiàn)數(shù)據(jù)檢索功能。 簡(jiǎn)單來(lái)說(shuō),Elasticsearch 是一個(gè)實(shí)時(shí)的分布式
    的頭像 發(fā)表于 08-22 14:08 ?491次閱讀
    軟件系統(tǒng)的數(shù)據(jù)檢索設(shè)計(jì)

    統(tǒng)一日志數(shù)據(jù)流圖

    統(tǒng)一日志數(shù)據(jù)流圖 日志系統(tǒng)數(shù)據(jù)流圖 系統(tǒng)進(jìn)行日志收集的過(guò)程可以分為三個(gè)環(huán)節(jié): (1)日志收集和導(dǎo)入ElasticSearch (2)ElasticSearch進(jìn)行索引等處理 (3)可視化操作,查詢等
    的頭像 發(fā)表于 08-21 15:00 ?570次閱讀
    統(tǒng)一日志數(shù)據(jù)流圖

    Elasticsearch Mapping類型修改

    原創(chuàng)聲明:該文章是個(gè)人在項(xiàng)目中親歷后的經(jīng)驗(yàn)總結(jié)和分享,如有搬運(yùn)需求請(qǐng)注明出處。 這是“深入淺出系列”文章的第一篇,主要記錄和分享程序設(shè)計(jì)的一些思想和方法論,如果讀者覺得所有受用,還請(qǐng)“一鍵三連”,這是對(duì)我最大的鼓勵(lì)。 一、老生常談,到底啥是可讀性 一句話:見名知其義。有人說(shuō)好的代碼必然有清晰完整的注釋,我不否認(rèn);也有人說(shuō)代碼即注釋,是代碼簡(jiǎn)潔之道的最高境界,我也不否認(rèn)。但我都不完全接受,如果照搬前者,有
    的頭像 發(fā)表于 08-09 16:00 ?267次閱讀