Flume 概述
Flume 是一个分布式、可靠、高可用的日志收集、聚合和传输系统。
Flume 特征
- 数据流模式：数据从源头（Source）流向通道（Channel），最后到达汇（Sink）。
- 可靠性：保证数据可靠传输，即使在系统故障或网络中断的情况下。
- 可扩展性：支持水平扩展，可根据需要添加组件来处理更大的数据量。
- 灵活性：支持多种数据源和汇，可轻松与现有系统集成。
Flume 组件
- Source：收集数据的组件。
- Channel：存储和缓冲数据的组件。
- Sink：将数据传输到最终目标的组件。
Flume 配置
Flume 配置使用配置文件进行配置，指定数据流、组件和处理选项。
Flume 启动
通过在命令行中运行 flume-ng agent --conf conf/flume.conf 命令启动 Flume 代理。