Flume SQL Source 组件支持从传统关系型数据库中读取数据，并将其作为数据源接入 Flume。用户可以通过自定义 SQL 查询语句来灵活地抽取数据，充分利用 SQL 语言的强大功能。

增量数据同步

为了避免重复收集数据，Flume SQL Source 提供了基于递增字段的增量数据同步机制。用户可以在自定义 SQL 查询的 WHERE 子句中使用 $@ 特殊字符来标识递增字段。$@ 字符会被 Flume 自动替换为上次成功同步的最后一个递增字段的值，从而确保只读取新增或修改的数据。

注意事项

  • 为保证增量数据同步的正确性，自定义 SQL 查询语句的第一个字段必须为递增字段。
  • 使用自定义 SQL 查询语句时需谨慎，避免潜在的数据一致性问题。