本指南帮助读者快速掌握 Kafka 的基础知识。

核心概念

  • 主题（Topic）: Kafka 将消息发布到不同的主题中，类似于数据库中的表。
  • 生产者（Producer）: 负责创建消息并将其发布到指定的主题。
  • 消费者（Consumer）: 订阅并消费指定主题中的消息。
  • 分区（Partition）: 每个主题可以被划分为多个分区，以提高消息吞吐量。
  • 代理（Broker）: 独立运行的 Kafka 服务器，负责存储消息。

工作流程

  1. 生产者将消息发布到指定的主题。
  2. Kafka Broker 接收消息并将其存储在对应主题的分区中。
  3. 消费者订阅感兴趣的主题，并从对应分区中读取消息。

应用场景

  • 消息队列: 构建高吞吐量、低延迟的消息队列系统。
  • 数据管道: 实时收集和传输数据，用于数据分析和处理。
  • 流处理: 构建实时流数据处理应用程序。

学习资源

后续学习

  • Kafka 高级特性
  • Kafka 集群部署和管理
  • Kafka 应用开发实践