Hadoop伪分布式搭建指南
本指南介绍在Linux 5.6企业版下，使用一台服务器搭建Hadoop伪分布式测试环境。
什么是Hadoop伪分布式？
Hadoop伪分布式模式是在单机环境下模拟Hadoop分布式集群的行为。它并非真正意义上的分布式，而是利用线程模拟多节点操作。
Hadoop伪分布式与完全分布式的区别:
Hadoop本身无法区分伪分布式和完全分布式，两者的配置非常相似。唯一的区别在于伪分布式部署在单台机器上，所有数据节点和名称节点都运行在同一个节点上。
搭建步骤：
- 环境准备: 确保Linux 5.6企业版系统已安装并配置好Java环境。
- 下载Hadoop: 从Apache Hadoop官网下载Hadoop安装包。
- 配置Hadoop:
- 编辑
hadoop-env.sh文件，设置JAVA_HOME环境变量。 - 编辑
core-site.xml文件，配置Hadoop文件系统地址和端口。 - 编辑
hdfs-site.xml文件，配置数据节点和名称节点的存储目录。 - 编辑
yarn-site.xml文件，配置YARN资源管理器地址和端口。
- 编辑
- 格式化HDFS: 执行
hdfs namenode -format命令格式化HDFS文件系统。 - 启动Hadoop: 执行
start-dfs.sh启动HDFS，执行start-yarn.sh启动YARN。 - 验证: 访问Hadoop Web UI，确认Hadoop集群运行正常。
注意事项
- 伪分布式适用于开发测试环境，不适用于生产环境。
- 搭建过程中请根据实际情况修改配置文件。