首页云主机正文

云主机搭建kafak-云主机搭建网站

云主机 1周前 (03-07) 7

接下来为大家讲解云主机搭建kafak，以及云主机搭建网站涉及的相关信息，愿对你有所帮助。

文章信息一览：

1、Kafka集群部署
2、kafka-manager配置和使用
3、kafka配置KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS
4、【Kafka系列】Kafka安装与部署

Kafka集群部署

部署Kafka集群，首先需要两台服务器，用于搭建Zookeeper集群和Kafka Broker服务。以下步骤分步骤进行。在第一台服务器上部署Zookeeper，命令执行在kafka安装目录的bin文件夹中，确保Zookeeper成功运行。在第一台服务器上，启动Kafka Broker。

在部署Kafka集群与面板时，需根据自身需求调整服务器IP与暴露端口。三个关键Listener配置需注意：KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP、KAFKA_CFG_LISTENERS与KAFKA_CFG_ADVERTISED_LISTENERS。

（图片来源网络，侵删）

在***麒麟系统（基于ARM的鲲鹏CPU和V10操作系统）环境中，部署Kafka集群以存储实时***集的日志数据，关键在于配置ARM版本的JDK。

kafka-manager配置和使用

1、运行kafka-manager可以使用命令bin/kafka-manager，或者指定配置文件位置和端口bin/kafka-manager -Dconfig.file=/path/to/application.conf -Dhttp.port=8080。也可以指定java home的位置，例如bin/kafka-manager -java-home /usr/local/oracle-java-8。

2、接下来，进行kafka-manager的Pod创建。通过Kubernetes的命令行工具或配置文件，创建并确认Pod的运行状态。最后，要访问kafka-manager，可以利用K8S的NodePort功能。通过Kubernetes集群中的某个节点的指定端口，输入用户名admin和默认密码AdMin@123，即可登录并开始管理你的Kafka集群。

（图片来源网络，侵删）

3、无论是雅虎的Kafka-manager，还是滴滴的Logi-Kafka，它们都为Kafka管理提供了可视化界面，降低了使用Kafka的门槛，提高了操作效率。用户可以根据自己的需求和水平选择合适的工具，以更直观的方式管理和监控Kafka集群。

4、配置步骤包括设置JAVA_HOME，配置kafka_eagle的环境变量，然后编辑conf/system-config.properties文件以完成详细的配置。完成这些步骤后，启动Kafka-Eagle服务。验证Kafka-Eagle的使用验证安装和配置是否成功，只需在浏览器中输入Kafka-Eagle的访问地址191641：8048，即可看到实时的Kafka集群监控数据。

5、就我所知，Kafka manager在监控框架中使用较多。它提供丰富监控内容，包括broker级JMX监控与consumer消费进度监控。页面上能直接管理集群，包含分区重分配与创建topic功能。Kafka manager自带只读机制，可禁用管理功能。另一款监控框架，Kafka Monitor，由LinkedIn开发。

6、Grafana是一个强大的数据可视化工具，允许用户创建仪表板，以直观地显示从Burrow收集的监控数据。通过配置Grafana，可以设置变量和图表，过滤集群并显示关键指标，如消费者滞后度、分区状态等。Kafka Manager是一个受欢迎的监控组件，使用Scala编写，提供源码下载。

kafka配置KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS

方案已经很明确了，就是发布一个KAFKA_ADVERTISED_LISTENERS到所有人都认识的地址。这样不管是谁都通过统一的宿主主机：9092地址来访问kafka。让容器网络上的主机访问一个kafka地址，让宿主机网络上的主机访问另一个kafka地址，实现内外地址分离。

在Kafka中，配置advertised.listeners（如果你使用Docker镜像，则为 KAFKA_ADVERTISED_LISTENERS）是至关重要的，以确保客户端能正确连接到它。配置不当可能导致无法消费数据的问题。advertised.listeners定义了客户端连接的方式，而listeners则是Kafka所绑定的接口。

zookeeper.connect 此参数用于指定Kafka连接的Zookeeper集群地址。格式为多个地址，以逗号分隔，每个地址***用host：port形式，可附加Zookeeper根节点路径。示例配置：zookeeper.connect=host1：2181，host2：2181：/kafka listeners 用于指定Broker对外提供服务的地址及端口。

在启动Kafka时，需配置容器名称为“kafka”，将容器的9092端口映射到宿主机的9092端口，连接名为“zookeeper”的Zookeeper容器，并设置环境变量指定ZooKeeper的连接字符串、Kafka的advertised listeners、Kafka的listeners以及offsets topic的副本因子。完成上述配置后，查看启动的Kafka实例。

【Kafka系列】Kafka安装与部署

在整个过程中，Spring Boot集成Kafka是非常便捷的方式，它能快速简化部署和应用。记住，Zookeeper是Kafka集群的核心，确保了分布式操作的协调一致性。现在，你已经掌握了Docker环境下的Kafka安装与部署。

安装Kafka在mac上，使用brew install kafka命令进行安装。若无Zookeeper，Kafka会自动安装。启动Kafka前，先启动Zookeeper。进入Kafka安装目录下的bin目录，执行以下命令：./zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties &（确保后台运行）。

Kafka支持单机多broker实例集群和多机多broker实例集群。在单机多broker实例集群中，只需要在一台机器上部署多个broker实例，并通过修改配置文件来设置不同实例的ID、监听端口和日志目录。在多机多broker实例集群中，分别在多台机器上安装Kafka，并配置多个Zookeeper实例。

访问Kafka的下载页面，获取最新版本的安装文件。将Kafka安装包解压至指定目录，找到位于config目录下的server.properties文件。编辑server.properties文件，将log.dirs的值修改为与Zookeeper相匹配的存储路径。启动Kafka：打开Kafka的安装目录，使用命令行工具启动Kafka服务，确保所有组件正常运行。

Apache Kafka安装配置示例从以下链接下载 Kafka：Apache Kafka 进入 Kafka 配置文件目录，进行配置文件修改：cd /storage/kafka/config 添加用户密码认证至服务端与客户端。修改 consumer 和 producer 的配置文件 consumer.properties 和 producer.properties。

通过Docker安装单机版本Kafka环境，需要以下步骤：首先，安装Zookeeper。接着，启动zookeeper。随后，安装Kafka。

关于云主机搭建kafak，以及云主机搭建网站的相关信息分享结束，感谢你的耐心阅读，希望对你有所帮助。