前言

華為云 FlexusX 實例，以創(chuàng)新的柔性算力技術，為 Kafka 集群部署帶來前所未有的性能飛躍。其靈活的 CPU 與內(nèi)存配比，結合智能調度與加速技術，讓 Kafka 在高并發(fā)場景下依然游刃有余。在 828 華為云企業(yè)上云節(jié)期間，F(xiàn)lexusX 實例攜手海量優(yōu)惠，助力企業(yè)輕松上云，享受數(shù)字化轉型的加速紅利。鏈接直達：華為云Flexus云服務器X實例

Kafka 簡介

Kafka 是一個性能、高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，專為處理大規(guī)模數(shù)據(jù)流而設計。作為 Apache 頂級項目之一，Kafka 以其卓越的擴展性、持久性和可靠性，在大數(shù)據(jù)和實時處理領域占據(jù)重要地位。它允許生產(chǎn)者（數(shù)據(jù)發(fā)送者）以高吞吐量向 Kafka 集群發(fā)布消息，而消費者（數(shù)據(jù)接收者）則可以以低延遲從集群中讀取消息。Kafka 通過將消息存儲到多個分區(qū)中，并在多個 broker（服務器）之間復制這些分區(qū)，實現(xiàn)了數(shù)據(jù)的高可用性和容錯性。

Kafka 不僅支持簡單的消息傳遞，還具備強大的流處理能力，能夠與各種流處理框架無縫集成，實現(xiàn)復雜的數(shù)據(jù)轉換和分析任務。其靈活的消息模型和可擴展的架構，使得 Kafka 能夠輕松應對各種應用場景，包括日志收集、事件監(jiān)控、消息隊列以及實時數(shù)據(jù)管道等。

官方網(wǎng)站：https://kafka.apache.org/

官方文檔：https://kafka.apache.org/documentation/

ZooKeeper 簡介

ZooKeeper 是一個開源的分布式協(xié)調服務，它為分布式應用提供一致性服務，主要用于管理大型分布式系統(tǒng)中的配置信息、命名服務、分布式同步以及提供組服務等，通過其簡單的 API 和強大的功能，使得分布式系統(tǒng)中的各個組件能夠相互協(xié)調、協(xié)同工作。

官方網(wǎng)站：https://zookeeper.apache.org/

官方文檔：https://zookeeper.apache.org/doc/

華為云 Flexus X 實例部署 Kafka 集群的亮點

靈活配置：通過柔性計算技術，自由調整 CPU、內(nèi)存資源，匹配 Kafka 需求。

高性能 &可擴展：增強 Kafka 的高吞吐、高可用特性，支持便捷的水平擴展。

無縫集成 &自動化：華為云服務助力無縫集成，支持自動化運維，減少人工干預。

安全可靠：集成華為云安全體系，結合 Kafka 副本機制，確保數(shù)據(jù)安全和服務可用。

成本效益：智能化運維降低運維成本，提高運維效率。

響應速度：提升業(yè)務系統(tǒng)處理實時數(shù)據(jù)流的響應速度。

業(yè)務連續(xù)性：故障自動遷移和容錯能力，保障業(yè)務穩(wěn)定運行。

促進創(chuàng)新：靈活性和可擴展性支持快速調整，應對市場變化和挑戰(zhàn)。

環(huán)境規(guī)劃

本次實驗環(huán)境中，準備搭建一臺 zookeeper 以及三個 Kafka broker 組成的 Kafka Cluster

部署流程

需要了解：

?采用 docker 方式進行部署 kafka 集群

?詳細購買配置實例可參考文章：快速部署華為云Flexus X實例，開啟您的云端之旅

?部署 docker 服務請參考文章：華為FlexusX與Docker+Nginx的高效整合之路

拉取鏡像

查看并拉取 zookeeper 鏡像（鏡像盡量拉取官方鏡像）

#默認拉取最新版[root@flexusx-251f~]# docker search zookeeperNAMEDESCRIPTION STARS OFFICIALzookeeperApache ZooKeeper is an open-source server wh… 1452 [OK]bitnamizookeeperBitnami container image for ZooKeeper 122chainguardzookeeperMinimal image with Apache Zookeeper. 0rapidfortzookeeperRapidFort optimized, hardened image for Zook… 9ubuntuzookeeperZooKeeper maintains configuration informatio… 13..............................[root@flexusx-251f~]# docker pull zookeeperUsingdefault tag latestlatestPulling from libraryzookeeperf7ec5a41d630Already existsfaf4c47c8c61Pull complete810072571fafPull completeca2026cde8dePull complete560b60c59d86Pull complete48a7bbbfc8ebPull complete56ff45ef75e6Pull completee28096689586Pull completeDigestsha256ecc855e80a6c36a9864e7c1ccc0b68a13595871f88bc8a97e7f2c82a8e9803b2StatusDownloaded newer image for zookeeperlatestdocker.iolibraryzookeeperlatest

查看并拉取 kafka 鏡像（鏡像盡量拉取官方鏡像）

[root@flexusx-251f~]# docker search kafkaNAMEDESCRIPTION STARS OFFICIALchainguard/kafkaMinimal image with Kafka. 0bitnami/kafkaBitnami container image for Apache Kafka 884ubuntu/kafkaApache Kafka, a distributed event streaming … 51apache/kafkaApache Kafka 63rancher/kafka2bitnamicharts/kafka..............................[root@flexusx-251f~]# docker pull bitnami/kafkaUsingdefault tag: latestlatest:Pulling from bitnami/kafka2449408de487:Pull completeDigest:sha256:999ba91863ef67e13c5704c3145154d0484671222dab2a603bfdeedc4a9fbad7Status:Downloaded newer image for bitnami/kafka:latestdocker.io/bitnami/kafka:latest

編寫 docker-compose.yaml

編寫 docker-compose.yaml

[root@flexusx-251f~]# mkdir /kafka[root@flexusx-251f~]# cd /kafka/[root@flexusx-251f kafka]# vim docker-compose.yamlversion:'2.9'services:zookeeper:image:zookeeper:latestports: -"2181:2181"#將容器的 2181 端口映射到宿主機的 2181 端口environment:ZOO_MY_ID:1#設置 Zookeeper 節(jié)點的 ID 為 1ZOO_SERVERS:server.1=zookeeper:2888:3888;2181#配置 Zookeeper 集群信息，我們只定義了一個節(jié)點，所以為單個kafka1:image:bitnami/kafka:latestdepends_on: -zookeeper ports: -"9092:9092"environment:KAFKA_BROKER_ID:1#設置 Kafka broker 的 ID 為 1KAFKA_ZOOKEEPER_CONNECT:zookeeper:2181#指定 Kafka 如何連接到 ZookeeperKAFKA_ADVERTISED_LISTENERS:PLAINTEXT://kafka1:9092#設置 Kafka broker 對外部客戶端廣播的地址和端口KAFKA_LISTENER_SECURITY_PROTOCOL_MAP:PLAINTEXT:PLAINTEXT KAFKA_INTER_BROKER_PROTOCOL_VERSION:2.8KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR:1kafka2:image:bitnami/kafka:latest depends_on: -zookeeper ports: -"9093:9092"environment:KAFKA_BROKER_ID:2KAFKA_ZOOKEEPER_CONNECT:zookeeper:2181 KAFKA_ADVERTISED_LISTENERS:PLAINTEXT://kafka2:9092 KAFKA_LISTENER_SECURITY_PROTOCOL_MAP:PLAINTEXT:PLAINTEXT KAFKA_INTER_BROKER_PROTOCOL_VERSION:2.8KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR:1kafka3:image:bitnami/kafka:latest depends_on: -zookeeper ports: -"9094:9092"environment:KAFKA_BROKER_ID:3KAFKA_ZOOKEEPER_CONNECT:zookeeper:2181 KAFKA_ADVERTISED_LISTENERS:PLAINTEXT://kafka3:9092 KAFKA_LISTENER_SECURITY_PROTOCOL_MAP:PLAINTEXT:PLAINTEXT KAFKA_INTER_BROKER_PROTOCOL_VERSION:2.8KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR:1

創(chuàng)建容器

執(zhí)行 docker-compose，開始創(chuàng)建容器

[root@flexusx-251fkafka]# docker-compose up -dWARN[0000]/kafka/docker-compose.yaml:the attribute `version`is obsolete, it will be ignored, please remove it to avoid potential confusion[+]Running 5/5?Network kafka_default Created 0.0s?Container kafka-zookeeper-1 Started 0.2s?Container kafka-kafka2-1 Started 0.3s?Container kafka-kafka3-1 Started 0.3s?Container kafka-kafka1-1 Started 0.3s

查看容器狀態(tài)（全部正常運行如果不正常請查看日志）

[root@flexusx-251fkafka]# docker-compose psWARN[0000]/kafka/docker-compose.yaml:the attribute `version`is obsolete, it will be ignored, please remove it to avoid potential confusionNAMEIMAGE COMMAND SERVICE CREATED STATUS PORTSkafka-kafka1-1bitnami/kafka:latest "/opt/bitnami/script…"kafka1 7 seconds ago Up 6 seconds 0.0.0.0:9092->9092/tcp, :::9092->9092/tcpkafka-kafka2-1bitnami/kafka:latest "/opt/bitnami/script…"kafka2 7 seconds ago Up 6 seconds 0.0.0.0:9093->9092/tcp, :::9093->9092/tcpkafka-kafka3-1bitnami/kafka:latest "/opt/bitnami/script…"kafka3 7 seconds ago Up 6 seconds 0.0.0.0:9094->9092/tcp, :::9094->9092/tcpkafka-zookeeper-1zookeeper:latest "/docker-entrypoint.…"zookeeper 7 seconds ago Up 6 seconds 2888/tcp, 3888/tcp, 0.0.0.0:2181->2181/tcp, :::2181->2181/tcp, 8080/tcp

放行安全組

放行端口 2181，9092，9093，9094

基本使用

創(chuàng)建主題

進入容器內(nèi)部，并進入 bin 目錄下（腳本文件都在這個目錄下）

[root@flexusx-251fkafka]# docker exec -itkafka-kafka1-1 /bin/bashIhave no name!@6a5684babfc1:/$ lsbindev etc lib64 opt run srv usrbitnamidocker-entrypoint-initdb.d home media proc run.sh sys varbootentrypoint.sh lib mnt root sbin tmpIhave no name!@6a5684babfc1:/$ cd /opt/bitnami/kafka/bin/

創(chuàng)建主題（任意一個 kafka 即可）

?使用 kafka-topics.sh 腳本在 Kafka 集群（通過 123.249.27.118:9092 訪問）中創(chuàng)建一個名為 topic1 的新主題，該主題包含 3 個分區(qū)，每個分區(qū)有 3 個副本。

Ihave no name!@6a5684babfc1:/opt/bitnami/kafka/bin$ ./kafka-topics.sh --create--bootstrap-server123.249.27.118:9092 --replication-factor3 --partitions3 --topictopic1Createdtopic topic1.

命令不知道如何使用，可以進行 help 查詢

./kafka-topics.sh--help

查看主題

查看主題，

?使用 kafka-topics.sh 腳本描述（或查詢）Kafka 集群（通過 123.249.27.118:9092 訪問）中名為 topic1 的主題的詳細信息。

Ihave no name!@6a5684babfc1:/opt/bitnami/kafka/bin$ kafka-topics.sh --describe--bootstrap-server123.249.27.118:9092 --topictopic1[2024-09-1102:21:00,753] WARN [AdminClient clientId=adminclient-1] The DescribeTopicPartitions API is not supported, using Metadata API to describe topics. (org.apache.kafka.clients.admin.KafkaAdminClient)Topic:topic1 TopicId: V1q3U6OxR1G5Umo203kvPQ PartitionCount: 3 ReplicationFactor: 3 Configs:Topic:topic1 Partition: 0 Leader: 3 Replicas: 3,1,2 Isr: 3,1,2 Elr: N/A LastKnownElr: N/ATopic:topic1 Partition: 1 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3 Elr: N/A LastKnownElr: N/ATopic:topic1 Partition: 2 Leader: 2 Replicas: 2,3,1 Isr: 2,3,1 Elr: N/A LastKnownElr: N/A

通過執(zhí)行 kafka-topics.sh 腳本的 describe 命令，并指定 bootstrap-server 為 123.249.27.118:9092 以及查詢的 topic 為 topic1，我們觀察到該主題的 3 個分區(qū)被均勻且成功地分配到了 Kafka 集群的三個 broker 上，這標志著這三個 broker 已經(jīng)構建了一個高效協(xié)作、穩(wěn)定運行的 Kafka 集群環(huán)境。

查看主題列表

Ihave no name!@6a5684babfc1:/opt/bitnami/kafka/bin$ ./kafka-topics.sh --bootstrap-serverlocalhost:9092 --listtopic1

修改主題信息

分區(qū)數(shù)只能增加，不能減少；副本數(shù)不支持修改。

Ihave no name!@6a5684babfc1:/opt/bitnami/kafka/bin$ ./kafka-topics.sh --bootstrap-serverlocalhost:9092 --alter--topictopic1 --partitions4[2024-09-1103:23:54,240] WARN [AdminClient clientId=adminclient-1] The DescribeTopicPartitions API is not supported, using Metadata API to describe topics. (org.apache.kafka.clients.admin.KafkaAdminClient)Ihave no name!@6a5684babfc1:/opt/bitnami/kafka/bin$ kafka-topics.sh --describe--bootstrap-server123.249.27.118:9092 --topictopic1[2024-09-1103:24:17,033] WARN [AdminClient clientId=adminclient-1] The DescribeTopicPartitions API is not supported, using Metadata API to describe topics. (org.apache.kafka.clients.admin.KafkaAdminClient)Topic:topic1 TopicId: V1q3U6OxR1G5Umo203kvPQ PartitionCount: 4 ReplicationFactor: 3 Configs:Topic:topic1 Partition: 0 Leader: 3 Replicas: 3,1,2 Isr: 3,1,2 Elr: N/A LastKnownElr: N/ATopic:topic1 Partition: 1 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3 Elr: N/A LastKnownElr: N/ATopic:topic1 Partition: 2 Leader: 2 Replicas: 2,3,1 Isr: 2,3,1 Elr: N/A LastKnownElr: N/ATopic:topic1 Partition: 3 Leader: 3 Replicas: 3,2,1 Isr: 3,2,1 Elr: N/A LastKnownElr: N/A

刪除主題

Ihave no name!@6a5684babfc1:/opt/bitnami/kafka/bin$ kafka-topics.sh --bootstrap-serverlocalhost:9092 --delete--topictopic1#可以看到，已經(jīng)沒有主題存在了 Ihave no name!@6a5684babfc1:/opt/bitnami/kafka/bin$ kafka-topics.sh --bootstrap-serverlocalhost:9092 --list

體驗和感受

在大數(shù)據(jù)與實時流處理領域，Kafka 以其高吞吐量、低延遲和可擴展性贏得了廣泛贊譽。而華為云 FlexusX 實例，以其卓越的計算性能、靈活的資源配置和穩(wěn)定的云環(huán)境，為 Kafka 集群的部署提供了理想平臺。

在 FlexusX 實例上部署 Kafka 集群，不僅能夠充分利用其強大的計算資源，還能通過精細化的配置與優(yōu)化，實現(xiàn)集群性能的最大化。我們結合華為云提供的專業(yè)指導與最佳實踐，對 Kafka 集群進行了深度優(yōu)化，包括網(wǎng)絡配置、存儲優(yōu)化、分區(qū)與副本策略調整等，確保 Kafka 在高并發(fā)、大數(shù)據(jù)量場景下依然能夠穩(wěn)定運行，提供卓越的服務質量。

值此 828 華為云企業(yè)上云節(jié)之際，誠邀您一起體驗 FlexusX 實例下的 Kafka 集群部署與優(yōu)化服務。在特惠期間，將享受到前所未有的價格優(yōu)惠與專業(yè)的技術支持，助您輕松構建高效、穩(wěn)定的實時數(shù)據(jù)流處理系統(tǒng)。選擇華為云 FlexusX 實例，讓 Kafka 集群的部署與性能優(yōu)化變得更加簡單、高效。點擊下方鏈接，立即行動，把握 828 特惠，讓 Kafka 集群在 FlexusX 實例的強勁動力下，開啟數(shù)據(jù)流處理的新篇章！

產(chǎn)品鏈接：華為云Flexus云服務器X實例直播建站服務器-華為云

審核編輯 黃宇