FlumeNG

FlumeNG数据采集方式 FlumeNG支持多种数据采集方式，包括： 1. RPC (Avro) 利用Avro RPC机制发送文件数据。 示例命令： $ bin/flume-ng avro-client -H localhost -p 41414 -F /usr/logs/log.10 2. 命令执行 通过执行命令获取输出作为数据源。 支持单行输出，包括回车符(r)或换行符( )。 可通过此方式间接实现tail功能。 3. 网络流 支持多种流行的日志流协议： Avro (数据序列化系统) Syslog Netcat (使用TCP或UDP协议读写数据)

FlumeNG架构解析：海量数据高效导入Hive FlumeNG是一种可靠、可扩展的分布式系统，用于高效地收集、聚合和移动大量日志数据。它灵活的架构使其成为构建数据管道，将数据从各种来源导入Hadoop生态系统（如Hive数据仓库）的理想选择。 FlumeNG核心组件： Source: 数据的来源，例如网站日志、社交媒体 feeds 或传感器数据。Flume支持各种source，包括 Avro, Exec, JMS, Spooling Directory 和 Twitter。 Channel: 临时存储从source接收到的数据，直到sink成功处理它们。Channel类型包括内存、文件和JDBC，可根据数据持久性和性能需求选择。 Sink: 从channel接收数据并将其写入目标系统，例如HDFS、HBase或Hive。Flume支持多种sink类型，包括HDFS, Hive, Avro, HBase 和 Kafka。 FlumeNG架构优势： 可扩展性: 可以通过添加更多节点轻松扩展FlumeNG集群，以处理不断增长的数据量。 可靠性: FlumeNG具有容错机制，确保即使节点出现故障，数据也能可靠地传输。 灵活性: FlumeNG支持各种source和sink，使其能够适应不同的数据源和目标系统。 事务性: FlumeNG保证数据传递的可靠性，确保数据不会丢失或重复。 FlumeNG在Hive数据仓库中的应用： FlumeNG可以轻松地将来自各种来源的数据导入Hive数据仓库，以便进行分析和查询。例如，可以使用FlumeNG将网站日志数据导入Hive，以便分析用户行为并优化网站性能。 总结： FlumeNG是一种强大的工具，可以简化海量数据导入Hive数据仓库的过程，助力高效数据分析和挖掘。

FlumeNG用于收集tomcat日志，具体场景为将/opt/tomcat下的日志存储到/var/log/data目录。配置包括source1类型为exec，command为tail -n +0 -F /opt/tomcat/logs/catalina.out；sink1类型为file_roll，directory为/var/log/data；channel1类型为file，checkpointDir为/var/checkpoint，dataDirs为/var/tmp，capacity为1000，transactionCapacity为100。运行命令：bin/flume-ng agent --conf --conf-file tomcat.conf --name agent1 -Dflume.root.logger=INFO,console。