日志收集

Flume是Hadoop生态系统中用于日志收集的强大工具。 许多常见日志收集场景都可以使用Flume高效地解决。

本书全方位解析 Flume 架构和组件，如文件通道、HDFS 接收器和 Hadoop 文件系统，辅助你掌控 Flume。提供了各组件的详细配置选项，方便根据需求定制 Flume。

Logstash 6.2.2 是一款开源数据管道工具，支持实时数据采集、转换和传输。它能够从多种数据源获取数据，并通过灵活的过滤和转换规则将数据标准化，最终输出到 Elasticsearch 等目标系统。Logstash 简化了日志数据的处理流程，提升了数据的可读性和分析价值，为系统监控、性能分析和安全审计等提供了有力支持。

FlumeNG用于收集tomcat日志，具体场景为将/opt/tomcat下的日志存储到/var/log/data目录。配置包括source1类型为exec，command为tail -n +0 -F /opt/tomcat/logs/catalina.out；sink1类型为file_roll，directory为/var/log/data；channel1类型为file，checkpointDir为/var/checkpoint，dataDirs为/var/tmp，capacity为1000，transactionCapacity为100。运行命令：bin/flume-ng agent --conf --conf-file tomcat.conf --name agent1 -Dflume.root.logger=INFO,console。

Apache Flume在Hadoop上的分布式日志收集（中文版），建议与Apache Flume在Hadoop上的分布式日志收集英文版对照使用！

Oracle学习资源收集内容涵盖：oracle_游标Oracle分页和联表存储过程Oracle查询优化.pdf Oralce函数.doc如何优化Oracle数据库保持优良性能.txt深圳-华为Oracle数据库基础知识ISSUE1.0.doc oracle补充.txt Oracle数据库优化之数据库磁盘IO.doc Oracle数据库中大型表查询优化的研究.doc oracle中的索引.txt

随着数据库技术的发展，掌握SQL的经验变得尤为重要。以下是一些经典而简短的SQL技巧和实践经验，帮助您更高效地管理和查询数据。

明确收集目的 选择适当收集方法 考虑数据质量控制 确保数据安全 遵守法律法规

最近在使用spark时，发现自己对pyspark的包了解不足。为此，特整理了一份脑图，并进行了一些实验记录。这些内容已上传至CSDN，供大家自取。

Logstash 是一款开源的数据收集引擎，具备实时数据传输能力。它能够将来自不同来源的数据进行统一过滤，并根据开发者设定的规范输出到指定目的地。