Apache Flume是一个分布式系统，专门用于从不同数据源收集、聚合和传输大量数据和日志到数据中心。它具有可靠、可伸缩、可定制、高可用和高性能等优点。Flume-ng支持声明式配置和动态更新，提供上下文路由、负载均衡和故障转移功能，且完全可扩展。
Flume-ng的搭建和sink配置详解
相关推荐
Flume-ng Windows 搭建和 Log4j 输出日志到 HDFS
在 Windows 环境下搭建 Flume-ng 并使用 Log4j 将日志输出到 HDFS。
Hadoop
3
2024-04-29
Flume中的Channel与Sink详解
探讨了Apache Flume中的关键组件Channel和Sink，以及它们在数据流动中的作用。Flume通过不同类型的Channel如Memory Channel和File Channel实现数据的中转和持久化存储，以保证数据安全性和流畅性。同时介绍了多种Sink配置，如Logger Sink、File Roll Sink和HDFS Sink，它们分别用于控制台输出、文件系统存储和HDFS上的数据写入。Flume的这些组件为大规模日志数据的高效收集和处理提供了重要支持。
Hive
1
2024-07-26
flume-ng-sql-source-1.5.3.jar下载及配置指南
flume-ng-sql-source-1.5.3.jar是用于flume采集mysql数据的关键jar包。下载后，请将此文件复制到FLUME_HOME/lib目录。对于CDH版本的flume，需将jar包放入/opt/cloudera/parcels/CDH-xxxx/lib/flume-ng/lib目录。此外，还需下载并添加mysql-connector-java-5.1.XX-bin.jar。
spark
2
2024-07-13
flume-ng-sdk-1.6.0.ja
flume-ng-sdk-1.6.0.ja 需要导入这个jar包才能通过log4j将日志直接导入到flume。
Hive
2
2024-07-13
Flume NG 1.6.0 CDH5.14.0 源码
Flume NG 1.6.0 CDH5.14.0 源码包，供开发人员参考和使用。
Hadoop
3
2024-05-01
Flume-ng-1.6.0-cdh.zip下载
Flume-ng-1.6.0-cdh.zip中包含三个项目文件：flume-ng-1.6.0-cdh5.5.0.tar.gz、flume-ng-1.6.0-cdh5.7.0.tar.gz和flume-ng-1.6.0-cdh5.10.1.tar.gz，您可以根据需要选择合适的版本。
Hadoop
0
2024-08-08
flume-ng-core-1.7.0.jar文件修改指南
对flume-ng-core-1.7.0.jar进行了修改，改为按文件读取而非按行读取。使用时，只需将修改后的文件替换到flume安装目录下的lib文件夹中。
kafka
4
2024-07-27
Flume-ng-sql-source-1.5.2定制查询逻辑优化
Flume-ng-sql-source-1.5.2基于flume1.6进行编译，并优化了基于flume1.8的custom.query逻辑。调整后，单一条件参数作为查询结果的第一列，并按正序排序。比较条件参数以返回结果。由于LastIndex中保存了参数条件，因此无法通过计数索引获取数据。下一步计划改进：实现上述所有功能。
Hadoop
2
2024-07-16
Flume 1.6.0 配置样例
该配置样例演示了如何使用 Flume 将数据从 Kafka 传输到 ElasticSearch。
kafka
3
2024-05-12