Kafka 是由 Apache 软件基金会开发的一个开源流处理平台,主要采用 ScalaJava 编写。Kafka 是一种高吞吐量的分布式发布订阅消息系统,能够处理大规模消费者的网站中的所有动作流数据。这些动作流数据(如网页浏览、搜索和用户行为)是现代网络中社交功能的关键因素之一。这类数据通常通过日志处理和日志聚合的方式实现高吞吐量需求。Kafka 为需要实时处理的系统提供了理想的解决方案,并可在 Hadoop 系统中并行加载。Kafka 的主要目标是统一线上和离线的消息处理,并通过集群架构实现实时消息传递。