kafka免安装测试环境搭建
摘要:本文介绍了Kafka测试环境的搭建流程。首先下载安装VMware并导入预装Docker和Kafka的Ubuntu虚拟机(密码123456)。然后修改docker-compose.yml中的IP地址,启动Kafka服务。文章提供了容器内外的测试方法:容器内通过kafka-topics.sh等命令创建主题、生产消费消息;外部Windows主机需安装JDK和Kafka客户端,通过kafka-top
第一步:安装VMware,建议官网直接下载,我这里也提供了自己安装的VMware-workstation-full-17.6.2-24409262(离线安装包)
![]()
第二步:解压KafKa的Ununtu虚拟机:解压文件夹kafka.7z文件,这是一个可以用VMware打开的ubuntu虚拟机,此虚拟机已提前安装docker及kafka的docker镜像,打开后直接使用即可。密码123456。虚拟机文件下地址
通过网盘分享的文件:kafka免安装测试环境搭建.7z
链接: https://pan.baidu.com/s/1GoL6Cj8Rf1D732d2zOUKGg?pwd=1w1w 提取码: 1w1w
第三步:运行kafka服务:
注:需修改docker-compose.yml中的ip为实际虚拟机ip才可以外部访问。参考第四步中图片


第四步:配置说明
当前配置只是最简单的适用于测试环境的单节点明文传输的kafka,如需使用SASL_SSL加密,请将文件中的SASL_SSL加密配置文件夹中配置文件拖入虚拟机中替换使用。

第五步:测试验证
注:示例中的主题可能有的已经存在,创建的时候如果报错已经存在就不必理会
容器内部测试:
(1)docker ps 查看容器服务的名称,此虚拟机中为kafka_kafka_1
(2)docker exec -it kafka_kafka_1 bash 进入容器内部
(3)kafka-topics.sh --create \
--topic test-topic \
--bootstrap-server kafka:29092 \
--partitions 1 \
--replication-factor 1 创建一个测试主题
(4) kafka-topics.sh --list --bootstrap-server kafka:29092 查看是否有创建的主题
(5) kafka-console-producer.sh --bootstrap-server kafka:29092 --topic test-topic 创建一个生产者,然后随便输入消息
(6) kafka-console-consumer.sh --bootstrap-server kafka:29092 --topic test-topic --from-beginning 可以新打开一个终端创建一个消费者(也需要进入容器内部),也可以直接结束生产者再启动一个消费者,就会收到生产者发送的消息
容器外部验证:
在windows宿主机中安装kafka提供的windows中可以执行的二进制文件的生产者和消费者,也就是kafka_2.13-4.1.0文件夹。需要提前安装 JDK 8 或更高版本,文件夹中有OpenJDK17U-jdk_x64_windows_hotspot_17.0.16_8.zip,安装方法如下:
1、解压
将OpenJDK17U-jdk_x64_windows_hotspot_17.0.16_8.zip文件解压到你希望存放 JDK 的目录。建议选择一个路径简单且没有中文和空格的目录,例如C:\Java\jdk-17.0.16_8。
2、配置环境变量
右键点击“此电脑”或“我的电脑”,选择“属性” -> “高级系统设置” -> “环境变量”。
在“系统变量”部分,点击“新建”:
变量名(N):输入JAVA_HOME
变量值(V):输入你刚才解压的 JDK 文件夹的完整路径(例如C:\Java\jdk-17.0.16_8)。
在“系统变量”中找到Path变量,选中后点击“编辑”。
点击“新建”,输入%JAVA_HOME%\bin,然后点击“确定”。
3、验证安装
打开新的命令提示符(CMD),依次输入以下命令并回车:
java -version
javac -version
如果配置正确,你会看到输出信息中明确显示版本号为 "17.0.16" 或类似信息
4、在外部机器安装 Kafka 客户端
kafka_2.13-4.1.0解压到某目录下,建议目录路径不要太长,我直接放在C盘下,然后进入C:\kafka_2.13-4.1.0\bin\windows路径下打开终端执行以下命令(ip修改成你实际的虚拟机ip),类似容器内测试。
.\kafka-topics.bat --create --topic windows-test --bootstrap-server 192.168.1.11:9092 --partitions 1 --replication-factor 1
创建测试主题
.\kafka-topics.bat --list --bootstrap-server 192.168.1.11:9092
查看测试主题
.\kafka-console-producer.bat --topic windows-test --bootstrap-server 192.168.1.11:9092
创建消费者,然后输入信息
.\kafka-console-consumer.bat --topic windows-test --from-beginning --bootstrap-server 192.168.1.11:9092
另一终端创建生产者,会收到信息,流程如下图



更多推荐

所有评论(0)