Ubuntu 14.04搭建Hadoop 2.6.0单机/伪分布式环境

准备工作

  • Ubuntu 14.04 操作系统
  • Hadoop 2.6.0 安装包
  • Java 环境

安装步骤

  1. 配置 SSH 免密登录: 使用 ssh-keygen 生成密钥对，并将公钥添加到授权列表。
  2. 安装 Java: 确保系统已安装 Java，并配置 JAVA_HOME 环境变量。
  3. 解压 Hadoop 安装包: 将下载的 Hadoop 2.6.0 安装包解压到指定目录。
  4. 配置 Hadoop:
    • 编辑 hadoop-env.sh 文件，配置 JAVA_HOME 路径。
    • 编辑 core-site.xml 文件，配置 Hadoop 核心属性，如文件系统 URI 和临时文件目录。
    • 编辑 hdfs-site.xml 文件，配置 HDFS 相关属性，如数据块副本数和数据存储目录。
    • 编辑 mapred-site.xml 文件，配置 MapReduce 相关属性，如框架名称和作业历史服务器地址。
  5. 格式化 HDFS: 执行 hdfs namenode -format 命令格式化 HDFS 文件系统。
  6. 启动 Hadoop:
    • 单机模式：执行 start-all.sh 命令启动所有 Hadoop 进程。
    • 伪分布式模式：执行 start-dfs.sh 和 start-yarn.sh 命令分别启动 HDFS 和 YARN 进程。
  7. 验证安装:
    • 访问 HDFS Web UI 界面 (通常为 http://localhost:50070) 查看文件系统状态。
    • 运行 Hadoop 示例程序，如 WordCount，验证集群功能。

其他配置

  • 可根据需求配置 YARN 资源调度、Hadoop 安全性等高级特性。