Apache Kafka 基本操作
首先让我们开始实施配置,然后我们将我们的设置迁移到单节点多代理配置。
希望你现在已经在你的机器上安装了 Java、ZooKeeper 和 Kafka。在迁移到 Kafka 集群设置之前,首先你需要启动 ZooKeeper,因为 Kafka 集群使用 ZooKeeper。
启动 ZooKeeper
打开一个新终端并输入以下命令:
bin/zookeeper-server-start.sh config/zookeeper.properties
要启动 Kafka Broker,请输入以下命令:
bin/kafka-server-start.sh config/server.properties
启动 Kafka Broker 后,输入命令在 ZooKeeper 终端上,你会看到以下响应:
821 QuorumPeerMain 928 Kafka 931 Jps
现在你可以看到两个守护进程在终端上运行,其中 QuorumPeerMain 是 ZooKeeper 守护进程,另一个是 Kafka 守护进程。
单节点-单代理配置
在此配置中,你有一个 ZooKeeper 和代理 id 实例。以下是配置它的步骤:
创建 Kafka 主题: Kafka 提供了一个命令行实用程序,名为在服务器上创建主题。打开新终端并输入以下示例。
语法
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic-name
例子
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic Hello-Kafka
我们刚刚创建了一个名为具有单个分区和一个副本因子。上面创建的输出将类似于以下输出:
Output: 创建话题
创建主题后,你可以在 Kafka 代理终端窗口中获取通知,并在 config/server.properties 文件的“/tmp/kafka-logs/”中指定创建主题的日志。
主题列表
要获取 Kafka 服务器中的主题列表,可以使用以下命令:
语法
bin/kafka-topics.sh --list --zookeeper localhost:2181
Hello-Kafka
由于我们创建了一个主题,它会列出只要。假设,如果你创建多个主题,你将在输出中获得主题名称。
启动生产者发送消息
语法
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic-name
从上面的语法来看,生产者命令行客户端需要两个主要参数:
经纪人名单: 我们要向其发送消息的代理列表。在这种情况下,我们只有一个经纪人。 Config/server.properties 文件包含代理端口 ID,因为我们知道我们的代理正在侦听端口 9092,因此你可以直接指定它。
主题名称: 这里以主题名称为例。
例子
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Hello-Kafka
生产者将等待来自标准输入的输入并发布到 Kafka 集群。默认情况下,每个新行都作为新消息发布,然后在中指定默认生产者属性文件。现在你可以在终端中键入几行消息,如下所示。
$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Hello-Kafka[2016-01-16 13在 ZooKeeper 终端上,你会看到响应。45,931] WARN property topic is not valid (kafka.utils.Verifia-bleProperties) Hello My first message
My second message
启动消费者接收消息
与生产者类似,默认的消费者属性在文件。打开一个新终端并键入以下语法以使用消息。
语法
bin/kafka-console-consumer.sh --zookeeper localhost:2181 —topic topic-name --from-beginning
例子
bin/kafka-console-consumer.sh --zookeeper localhost:2181 —topic Hello-Kafka --from-beginning
Hello My first message My second message
最后,你可以从生产者的终端输入消息并看到它们出现在消费者的终端中。到现在为止,你已经对单节点的单节点集群有了很好的理解。现在让我们继续进行多代理配置。
单节点-多代理配置
在继续进行多代理集群设置之前,首先启动你的 ZooKeeper 服务器。
创建多个 Kafka 代理: 我们已经在config/server.properties 中有一个Kafka broker 实例。现在我们需要多个代理实例,因此将现有的 server.prop-erties 文件复制到两个新的配置文件中,并将其重命名为 server-one.properties 和 server-two.properties。然后编辑两个新文件并分配以下更改:
配置/服务器-one.properties
# The id of the broker. This must be set to a unique integer for each broker. broker.id=1 # The port the socket server listens on port=9093 # A comma seperated list of directories under which to store log files log.dirs=/tmp/kafka-logs-1
配置/服务器-two.properties
# The id of the broker. This must be set to a unique integer for each broker. broker.id=2 # The port the socket server listens on port=9094 # A comma seperated list of directories under which to store log files log.dirs=/tmp/kafka-logs-2
启动多个经纪人: 在三台服务器上进行所有更改后,再打开三个新的终端,一个一个地启动每个broker。
Broker1 bin/kafka-server-start.sh config/server.properties Broker2 bin/kafka-server-start.sh config/server-one.properties Broker3 bin/kafka-server-start.sh config/server-two.properties
现在我们在机器上运行了三个不同的代理。自己尝试通过键入来检查所有守护程序jps在 ZooKeeper 终端上,你会看到响应。
创建主题
让我们将此主题的复制因子值分配为 3,因为我们运行了三个不同的代理。如果你有两个代理,则分配的副本值将是两个。
语法
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 -partitions 1 --topic topic-name
例子
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 -partitions 1 --topic Multibrokerapplication
created topic “Multibrokerapplication”
The命令用于检查当前创建的主题是哪个broker监听的,如下图:
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic Multibrokerappli-cation
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic Multibrokerappli-cation Topic:Multibrokerapplication PartitionCount:1 ReplicationFactor:3 Configs: Topic:Multibrokerapplication Partition:0 Leader:0 Replicas:0,2,1 Isr:0,2,1
从上面的输出中,我们可以得出结论,第一行给出了所有分区的摘要,显示了主题名称、分区计数和我们已经选择的复制因子。在第二行中,每个节点将成为随机选择的分区部分的领导者。
在我们的例子中,我们看到我们的第一个代理(broker.id 为 0)是领导者。那么Replicas:0,2,1 表示所有broker最终都复制了topic是集合复制品。嗯,这是当前存活并被领导者追赶的副本的子集。
启动生产者发送消息
此过程与单个代理设置中的过程相同。
例子
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Multibrokerapplication
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Multibrokerapplication [2016-01-20 19只要。假设,如果你创建多个主题,你将在输出中获得主题名称。21,045] WARN Property topic is not valid (kafka.utils.Verifia-bleProperties) This is single node-multi broker demo This is the second message
启动消费者接收消息
此过程与单个代理设置中显示的相同。
例子
bin/kafka-console-consumer.sh --zookeeper localhost:2181 —topic Multibrokerapplica-tion --from-beginning
bin/kafka-console-consumer.sh --zookeeper localhost:2181 —topic Multibrokerapplica-tion —from-beginning This is single node-multi broker demo This is the second message
基本主题操作
在本章中,我们将讨论各种基本主题操作。
修改主题
正如你已经了解了如何在 Kafka 集群中创建主题。现在让我们使用以下命令修改创建的主题
语法
bin/kafka-topics.sh —zookeeper localhost:2181 --alter --topic topic_name --parti-tions count
例子
We have already created a topic “Hello-Kafka” with single partition count and one replica factor. Now using “alter” command we have changed the partition count. bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic Hello-kafka --parti-tions 2
WARNING: If partitions are increased for a topic that has a key, the partition logic or ordering of the messages will be affected Adding partitions succeeded!
删除主题
要删除主题,你可以使用以下语法。
语法
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic topic_name
例子
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic Hello-kafka
> Topic Hello-kafka marked for deletion
注意:如果delete.topic.enable未设置为 true,这将没有影响。