大数据日志收集工具 Apache Flume 1.5.0。

Logstash 是一款开源的日志收集和管理工具，负责实时采集日志数据。 它与 Elasticsearch 和 Kibana 并称为开源日志界的“三剑客” (ELK)。

kafka_2.11-2.0.0.tgzkafka_2.11-2.0.1.tgzkafka_2.11-2.1.0.tgzkafka_2.11-2.1.1.tgzkafka_2.11-2.2.0.tgzkafka_2.11-2.2.1.tgzkafka_2.11-2.2.2.tgzkafka_2.11-2.3.0.tgzkafka_2.11-2.3.1.tgzkafka_2.11-2.4.0.tgzkafka_2.11-2.4.1.tgzkafka_2.12-2.0.0.tgzkafka_2.12-2.0.1.tgzkafka_2.12-2.1.0.tgzkafka_2.12-2.1.1.tgzkafka_2.12-2.2.0.tgzkafka_2.12-2.2.1.tgzkafka_2.12-2.2.2.tgzkafka_2.12-2.3.0.tgzkafka_2.12-2.3.1.tgzkafka_2.12-2.4.0.tgzkafka_2.12-2.4.1.tgzkafka_2.12-2.5.0.tgzkafka_2.13-2.4.1.tgzkafka_2.13-2.5.0.tgz

Kafka中的消费者通常属于某个消费者群组，多个群组可以同时读取同一个主题而互不干扰。引入消费者群组的概念是为了应对消费者可能执行高延迟操作的情况，例如将数据写入数据库或HDFS，或进行耗时计算。 单个消费者在面对高速数据生成时可能难以招架，此时可以通过增加消费者数量来分担负载，每个消费者负责处理部分分区的消息。这种策略是Kafka实现横向伸缩的关键机制。

该 Shell 脚本能够定时自动监控 Kafka 集群节点运行状态，并在异常关闭时立即发送邮件通知给指定的管理员。

Kafka，一个基于Scala和Java语言构建的开源流处理平台，由Apache软件基金会开发。作为分布式发布订阅消息系统，Kafka以其高吞吐量著称。

Window 7 64位环境下Kafka伪分布式集群搭建步骤 软件版本: Zookeeper: 3.4.6 Kafka: 2.8.0-0.8.0 集群目录: F:liuzhiwenclustertechkafka_cluster 步骤: 打开命令行窗口。 切换到Kafka安装目录下的binwindows目录: cd F:liuzhiwenclustertechkafka_clusterk1binwindows。 启动Zookeeper服务。 启动Kafka服务: kafka-server-start.bat ..configserver.properties。

kafka-manager 1.3.3.17 版本，经过编译，解压后即可使用。

该数据服务框架为大数据平台提供高效数据服务，其功能涵盖： 基于Kafka实现实时数据的过滤、清洗、转换和消费 利用Spark SQL实现对Redis、MongoDB等非关系型数据库的数据读写 集成规则引擎，支持基于规则引擎实现客户标签、画像等功能

剖析 Kafka 生产者消息发送 API 的细节，掌握其原理。