macOS 安装 Kafka

2018/8/17 源自  macOS

1、kafka的安装

brew install kafka
brew switch kafka 1.1.0

安装会依赖zookeeper。
注意:安装目录:/usr/local/Cellar/kafka/0.10.2.0

brew services start zookeeper
brew services start kafka
    
brew services stop kafka
brew services stop zookeeper

2、安装的配置文件位置

/usr/local/etc/kafka/server.properties
/usr/local/etc/kafka/zookeeper.properties

3、启动zookeeper

zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties &

4、启动kafka

kafka-server-start /usr/local/etc/kafka/server.properties &

5、创建topic

让我们使用单个分区和只有一个副本创建一个名为“test”的主题

kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

6、查看创建的topic

我们现在可以看到该主题,如果我们运行list topic命令:

kafka-topics --list --zookeeper localhost:2181
kafka-topics --delete --zookeeper localhost:2181 --topic test
kafka-topics --describe --zookeeper localhost:2181 --topic test

7、发送一些消息

Kafka提供了一个命令行客户端,它将从文件或标准输入接收输入,并将其作为消息发送到Kafka集群。默认情况下,每行都将作为单独的消息发送。
运行生产者,然后在控制台中键入一些消息发送到服务器。

kafka-console-producer.sh --broker-list localhost:9092 --topic Test

8、消费消息

Kafka还有一个命令行消费者,将消息转储到标准输出。

kafka-console-consumer --bootstrap-server PLAINTEXT://192.168.5.204:9092 --topic Test --from-beginning --formatter kafka.tools.DefaultMessageFormatter --property print.key=true --property print.value=true --property key.deserializer=org.apache.kafka.common.serialization.StringDeserializer --property value.deserializer=org.apache.kafka.common.serialization.LongDeserializer

9、显示log信息

kafka-run-class kafka.tools.DumpLogSegments -print-data-log -files 00000000000000000000.log > showlog.log
    
./kafka-run-class.sh kafka.tools.DumpLogSegments -print-data-log -files /data01/middle/kafka-logs/00000002154.log >>aa.txt
    
find /dataa01 -mtime 0 -name *.log |xargs /kafka-run-class.sh kafka.tools.DumpLogSegments -print-data-log -files /data01/middle/kafka-logs/00000002154.log >>aa.txt
    

10、测试脚本

生产者:

kafka-producer-perf-test --topic test --num-records 1000000 --producer-props bootstrap.servers=localhost:9092 --throughput 10000 --record-size 100

消费者:

kafka-consumer-perf-test --topic test --messages 1000000 --broker-list localhost:9092 --threads 3 --zookeeper localhost:2181
kafka-consumer-perf-test --topic test --zookeeper localhost:2181 --messages 2000000 --threads 3