Zookeeper集群配置与Storm框架结合

Storm 配置文件：storm.yaml storm.zookeeper.servers： -- 192.168.61.130 -- 192.168.61.134 -- 192.168.61.135 nimbus.host：192.168.61.130 storm.local.dir：/data/storm/data ui.port：8080

ZooKeeper集群配置 本章节将详细介绍如何配置ZooKeeper集群，重点关注仲裁和观察者的设置。 仲裁与多数原则 在ZooKeeper中，仲裁是指能够处理客户端请求并参与群首选举的最少服务器数量。为了避免脑裂（即多个服务器集合同时处理请求），仲裁法定人数必须始终构成集群中服务器总数的多数。 例如，一个包含5台服务器的ZooKeeper集群，其仲裁法定人数至少需要为3台，确保只有一组服务器能够获得处理请求和参与选举的权利。 观察者 观察者可以处理客户端请求并接收服务器状态更新，但它们不参与群首选举，也不计入仲裁法定人数。 通过合理配置仲裁和观察者，可以提高ZooKeeper集群的容错性和性能。

Zookeeper在集群模式下的安装与配置需要创建myid文件，分别设置不同机器的标识。在conf目录下，配置zoo.cfg文件包括dataDir=/usr/local/zk/data，以及各服务器的端口设置。Zookeeper支持多机集群，也可在单台物理机上实现伪集群。配置中的initLimit用于客户端连接初始化心跳时间，syncLimit用于Leader与Follower消息传递时的时间限制。server.A=B：C：D中，A表示服务器编号，B为IP地址，C为信息交换端口，D为选举重新通信端口。

提供zookeeper和storm安装包，经测试可用，jdk版本为1.8.0_171。

介绍如何使用二进制和 Docker 两种方式部署 Zookeeper 和 Kafka 集群。 二进制部署 安装 JDK: 可以选择二进制安装或使用 yum 包管理器安装。 安装 Zookeeper: 下载 Zookeeper 安装包，解压并配置相关参数。 部署 Kafka: 下载 Kafka 安装包，解压并配置相关参数，包括 Zookeeper 连接信息等。 Docker 部署 搭建 Zookeeper 集群: 使用 Docker Compose 编排 Zookeeper 容器，构建 Zookeeper 集群。 搭建 Kafka 集群: 使用 Docker Compose 编排 Kafka 容器，配置 Kafka 连接 Zookeeper 集群。 测试验证: 验证 Zookeeper 中 Kafka 节点信息是否正确。 在 Kafka 中创建 Topic，验证 Zookeeper 中是否同步了相关信息。

使用 wget 命令下载 Storm 并解压修改 bashrc 文件并添加环境变量完成单机 Storm 的安装

Storm 是一种分布式、高容错的实时计算系统，适用于处理快速生成的海量数据流。其核心优势在于低延迟、高吞吐量以及易于扩展，广泛应用于实时数据分析、机器学习、风险控制等领域。

Storm 集群搭建指南 本指南涵盖 Storm 集群部署的完整流程，包括以下步骤： JDK 环境配置： 确保所有节点都安装了兼容版本的 Java Development Kit (JDK)。 ZooKeeper 集群部署: 部署 ZooKeeper 集群作为 Storm 的分布式协调服务。 Storm 集群部署: 在 ZooKeeper 集群的基础上，安装和配置 Storm 集群。 通过按照指南中的步骤进行操作，您将能够成功搭建一个功能完备的 Storm 集群，用于进行实时数据处理。

基于 ZooKeeper 3.4.10 和 Storm 1.1.1 构建了一个 Storm 集群。