flume-ng-sql-source-1.5.3.jar下载及配置指南

Flume-ng-sql-source-1.5.2基于flume1.6进行编译，并优化了基于flume1.8的custom.query逻辑。调整后，单一条件参数作为查询结果的第一列，并按正序排序。比较条件参数以返回结果。由于LastIndex中保存了参数条件，因此无法通过计数索引获取数据。下一步计划改进：实现上述所有功能。

对flume-ng-core-1.7.0.jar进行了修改，改为按文件读取而非按行读取。使用时，只需将修改后的文件替换到flume安装目录下的lib文件夹中。

Flume-ng-1.6.0-cdh.zip中包含三个项目文件：flume-ng-1.6.0-cdh5.5.0.tar.gz、flume-ng-1.6.0-cdh5.7.0.tar.gz和flume-ng-1.6.0-cdh5.10.1.tar.gz，您可以根据需要选择合适的版本。

Apache Flume是一个分布式系统，专门用于从不同数据源收集、聚合和传输大量数据和日志到数据中心。它具有可靠、可伸缩、可定制、高可用和高性能等优点。Flume-ng支持声明式配置和动态更新，提供上下文路由、负载均衡和故障转移功能，且完全可扩展。

flume-ng-sdk-1.6.0.ja 需要导入这个jar包才能通过log4j将日志直接导入到flume。

Flume SQL Source 组件支持从传统关系型数据库中读取数据，并将其作为数据源接入 Flume。用户可以通过自定义 SQL 查询语句来灵活地抽取数据，充分利用 SQL 语言的强大功能。 增量数据同步 为了避免重复收集数据，Flume SQL Source 提供了基于递增字段的增量数据同步机制。用户可以在自定义 SQL 查询的 WHERE 子句中使用 $@ 特殊字符来标识递增字段。$@ 字符会被 Flume 自动替换为上次成功同步的最后一个递增字段的值，从而确保只读取新增或修改的数据。 注意事项 为保证增量数据同步的正确性，自定义 SQL 查询语句的第一个字段必须为递增字段。 使用自定义 SQL 查询语句时需谨慎，避免潜在的数据一致性问题。

Flume NG 1.6.0 CDH5.14.0 源码包，供开发人员参考和使用。

在使用Flume时，如果您遇到netcatudp作为sources、avro作为sink时发送UDP数据报null of map in field headers of org.apache.flume.source.avro.AvroFlumeEvent of array的问题，可以通过引入com.whitepages.flume.plugins.source.udp.UDPSource来解决。只需将此类放置在Flume安装目录的lib目录下，并将sources的type设置为com.whitepages.flume.plugins.source.udp.UDPSource即可轻松应对。

JDBC的SQL 2008驱动包可直接放置于工程的lib文件夹，或放到JSP项目的tomcat/bin/lib中以便使用。