一文讀懂什么是分布式流處理系統(tǒng)Kafka

Kafka是一個(gè)分布式流處理系統(tǒng)，流處理系統(tǒng)使它可以像消息隊(duì)列一樣publish或者subscribe消息，分布式提供了容錯(cuò)性，并發(fā)處理消息的機(jī)制。

2017-12-12 標(biāo)簽：pythonkafka 6947 0

Kafka框架的工作原理及工作流程

Kafka在大數(shù)據(jù)技術(shù)生態(tài)當(dāng)中，以作為消息系統(tǒng)而聞名，面對(duì)活躍的流式數(shù)據(jù)，提供高吞吐量的服務(wù)，在實(shí)時(shí)大數(shù)據(jù)處理場(chǎng)景下，可以說是一大利器，國(guó)內(nèi)外大廠都有應(yīng)...

2021-01-15 標(biāo)簽：大數(shù)據(jù)kafka 5481 0

Rocket MQ存儲(chǔ)與Kafka存儲(chǔ)對(duì)比分析

Kafka單機(jī)超過64個(gè)隊(duì)列/分區(qū)，Load會(huì)發(fā)生明顯的飆高現(xiàn)象，隊(duì)列越多，load越高，發(fā)送消息響應(yīng)時(shí)間變長(zhǎng)。Kafka分區(qū)數(shù)無法過多的問題，Rock...

2021-01-14 標(biāo)簽：存儲(chǔ)kafka 3496 0

Kafka架構(gòu)技術(shù)：Kafka的架構(gòu)和客戶端API設(shè)計(jì)

Kafka 給自己的定位是事件流平臺(tái)（event stream platform）。因此在消息隊(duì)列中經(jīng)常使用的 "消息"一詞，在 K...

2023-10-10 標(biāo)簽：控制器JAVAAPI 2723 0

監(jiān)控Kafka集群的常用的方法和工具介紹

JMX監(jiān)控：Kafka提供了JMX（Java Management Extensions）接口，可以通過JMX來監(jiān)控和管理Kafka集群。您可以使用JC...

2023-08-30 標(biāo)簽：監(jiān)控集群監(jiān)控kafka 2545 0

kafka設(shè)計(jì)原理的深度探討

Kafka簡(jiǎn)介 Kafka是一種分布式的，基于發(fā)布/訂閱的消息系統(tǒng)。主要設(shè)計(jì)目標(biāo)如下： 以時(shí)間復(fù)雜度為O(1)的方式提供消息持久化能力，即使對(duì)TB級(jí)以上...

2020-10-08 標(biāo)簽：服務(wù)器異步通信kafka 2259 0

關(guān)于MQ的主流的消息中間件對(duì)比解析

RabbitMQ 類似有生產(chǎn)階段、存儲(chǔ)階段、消費(fèi)階段，相較 RabbitMQ 的架構(gòu)，增加了 NameServer 集群，橫向拓展能力較好。參考的 Ka...

2023-07-05 標(biāo)簽：中間件消息中間件kafka 1573 0

Kafka的再平衡機(jī)制的三種分區(qū)重分配

所謂的再平衡，指的是在kafka consumer所訂閱的topic發(fā)生變化時(shí)發(fā)生的一種分區(qū)重分配機(jī)制。一般有三種情況會(huì)觸發(fā)再平衡：

2020-05-03 標(biāo)簽：字符串kafka 6172 0

Kafka的四個(gè)基礎(chǔ)概念學(xué)習(xí)

Kafka 是一個(gè)消息系統(tǒng)，原本開發(fā)自 LinkedIn，用作 LinkedIn 的活動(dòng)流（Activity Stream）和運(yùn)營(yíng)數(shù)據(jù)處理管道（Pipe...

2020-05-03 標(biāo)簽：LinkedInkafka 3005 0

超詳細(xì)“零”基礎(chǔ)kafka入門篇

1、認(rèn)識(shí)kafka 1.1 kafka簡(jiǎn)介 Kafka?是一個(gè)分布式流媒體平臺(tái) kafka官網(wǎng)：http://kafka.apache.org/ （1）...

2024-12-18 標(biāo)簽：流媒體kafka 2857 0

架構(gòu)師應(yīng)該使用Kafka還是Rabbit MQ

作為處理許多基于微服務(wù)的系統(tǒng)的軟件架構(gòu)師，我經(jīng)常遇到一個(gè)不斷重復(fù)的問題："我應(yīng)該使用RabbitMQ還是Kafka？" 由于某些原因，許多開發(fā)人員認(rèn)為這...

2020-05-03 標(biāo)簽：軟件架構(gòu)kafka 2558 0

Kafka的概念及Kafka的宕機(jī)

問題要從一次Kafka的宕機(jī)開始說起。 筆者所在的是一家金融科技公司，但公司內(nèi)部并沒有采用在金融支付領(lǐng)域更為流行的 RabbitMQ ，而是采用了設(shè)計(jì)之...

2021-08-27 標(biāo)簽：ISRHDFSkafka 2445 0