Hadoop LZO 压缩支持配置

Hadoop LZO 解析包用于解析 LZO 格式的文件。在使用 Presto 查询 LZO 格式文件时，需要将此包添加到 Presto 的工具包中。

详细介绍了如何安装和配置hadoop-lzo-0.4.21-SNAPSHOT.jar。通过将编译后的hadoop-lzo源码添加到hadoop的classpath（如${HADOOP_HOME}/share/hadoop/common），来正确配置hadoop以支持lzo压缩，从而简化编译过程。

在配置Hadoop压缩包时，涉及到多个关键文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-env.sh、workers和hadoop-env.sh。这些文件的配置参数可以根据具体需求进行调整，保证系统运行的有效性和稳定性。同时，还需注意激活所需的activation-1.1.1.jar版本，提供了详细有效的配置方法，适用于Hadoop-3.1.1版本。

LZO 2.0.6是一种高效的实时数据压缩库，特点是快速压缩和解压速度，适用于嵌入式系统和网络传输。Hadoop-LZO为Apache Hadoop生态系统提供了LZO压缩支持，优化数据存储和传输效率。Apache Maven是流行的Java项目管理工具，通过POM自动化项目构建过程，包括依赖管理和打包应用。

为 Windows 平台上的 Hadoop 2.7.1 获取必要的 hadoop.dll 和 winutils.exe 文件，以确保顺利运行。

Hadoop是由Apache软件基金会开发的开源分布式计算框架，能够高效处理和存储大规模数据。Hadoop 2.6.3是其重要版本，包含性能改进、稳定性和安全性更新，特别针对Windows系统进行了优化。在Windows环境中，关键的\"bin\"目录包含了运行Hadoop所需的关键组件，如hadoop.dll和winutils.exe。hadoop.dll是动态链接库，实现了Hadoop的核心功能，如文件系统操作和任务调度；而winutils.exe则提供了系统管理任务，如配置环境变量和管理HDFS文件系统。除了核心组件外，Hadoop 2.6.3的Windows版本还包括配置文件、脚本和依赖库，构建完整的运行环境。部署时需安装JDK并设置JAVA_HOME，配置Hadoop环境变量如HADOOP_HOME。

在 core-site.xml 中配置 Hadoop 的核心属性，如 Namenode 和 ResourceManager 地址。 在 hdfs-site.xml 中配置 HDFS 的属性，如 NameNode 容量和副本数量。 在 yarn-site.xml 中配置 YARN 的属性，如 Resource Manager 内存和队列配置。 在 mapred-site.xml 中配置 MapReduce 的属性，如作业历史记录存储位置和作业超时设置。

Hadoop配置中默认值可满足大多数使用场景，无需手动设置。

我自己总结的Hadoop配置方法。