起源于LinkedIn的Kafka,是一个分布式消息系统,以其高吞吐、低延迟的特性著称。其核心机制包含分区、多副本以及基于Zookeeper的协调,赋予了Kafka强大的可扩展性和容错能力。

Kafka广泛应用于实时数据处理的各个领域,包括Hadoop批处理系统、实时系统、流式处理引擎(如Storm和Spark)、日志收集(如Web/Nginx日志、访问日志)以及消息服务等。Kafka由Scala语言编写,并在2010年成为Apache顶级开源项目。