HDFS文件存储

上传、删除文件至HDFS

HDFS 数据分层存储方案 Hadoop 2.6.0 版本开始支持异构存储，它利用不同存储介质的特性进行数据存储优化。例如，针对冷热数据的存储场景，我们可以： 冷数据: 使用高容量、低成本的存储介质，如普通磁盘（HDD），以降低存储成本。 热数据: 使用高性能的固态硬盘（SSD），以获得更快的读写速度，提升访问效率。 这种方式充分发挥了不同存储介质的优势，实现了成本和性能的平衡。

HDFS文件权限与Linux系统文件权限相似，包括： r (read)：读取权限 w (write)：写入权限 x (execute)：执行权限，对文件无效，对文件夹表示是否允许访问其内容 例如，如果Linux系统用户zhangsan使用hadoop命令创建一个文件，那么该文件在HDFS中的owner就是zhangsan。 HDFS权限的设定目标是防止合法用户误操作，而不是阻止恶意攻击。HDFS遵循信任机制，用户声明的身份即被视为其真实身份。

针对Hadoop分布式文件系统 (Hadoop Distributed File System, HDFS)在小文件存储时NameNode内存占用率高的问题，通过分析HDFS基础架构，提出了基于元数据存储集群的SQL-DFS文件系统。通过在NameNode中加入小文件处理模块，实现了小文件元数据从NameNode内存向元数据存储集群的迁移，并借助关系数据库集群，实现了小文件元数据的快速读写。SQL-DFS优化了小文件的读取过程，减少了文件客户端对NameNode的请求次数。通过将部分DataNode文件块的校验工作转移到元数据存储集群中，进一步降低了NameNode的负载压力。最终，通过搭建HDFS和SQL-DFS实验平台，对比测试了两种架构在小文件读写中的表现。实验结果表明：SQL-DFS在文件平均耗时 (File Average Cost, FAC)和内存占用率方面均显著优于原HDFS架构，具备更优的小文件存储能力，适用于海量小文件存储需求。

在HDFS中读取文件，客户端首先会与NameNode建立连接，获取目标文件的所有数据块信息以及每个数据块所在的DataNode位置信息。 客户端会根据一定的策略（目前尚未考虑数据节点的相对位置）从每个数据块对应的DataNode集合中选择一个节点建立连接，并开始读取数据。数据以数据包的形式传输到客户端。当读取完一个数据块后，客户端会断开与当前DataNode的连接，并选择下一个数据块对应的DataNode，重复上述过程，直到读取完所有需要的数据。

本项目提供一个 Java 操作 HDFS 文件的实用案例，涵盖文件创建、删除、上传、下载等常用功能。请确保在运行前已成功搭建 Hadoop 集群。

本代码范例展示如何将本地文件上传至HDFS。利用Hadoop API操作，实现本地文件上传到HDFS。

hdfs-site.xml 是 Hadoop 分布式文件系统 (HDFS) 的核心配置文件之一。 它包含了 HDFS 的各种配置参数，例如 NameNode 和 DataNode 的地址、端口、数据块大小等。 通过修改 hdfs-site.xml 文件，用户可以自定义 HDFS 集群的行为以满足特定需求。

需求说明 统计HDFS上的文件的词频，并将统计结果输出到HDFS。 核心特点 使用Maven进行jar包管理。 核心处理部分封装为接口（支持可插拔设计）。 路径、文件名等变量配置在自定义配置文件中，方便修改。 通过反射机制动态创建对象（实现接口）。 代码结构良好，具备较强的可插拔性。 主要实现流程 读取HDFS上的文件数据。 对文件内容进行词频统计。 将统计结果写回到HDFS中指定路径。 配置管理：路径和文件名等信息可通过配置文件进行修改，增强灵活性。 技术栈 HDFS Java API Maven 反射机制 自定义配置文件 通过这些技术实现了一个高效且可维护的HDFS文件词频统计系统，且代码架构清晰，易于扩展。

HDFS是Hadoop分布式计算的存储基础。HDFS具有高容错性，可以部署在通用硬件设备上，适合数据密集型应用，并且提供对数据读写的高吞吐量。HDFS能够提供对数据的可扩展访问，通过简单地往集群里添加节点就可以解决大量客户端同时访问的问题。HDFS支持传统的层次文件组织结构，同现有的一些文件系统类似，如可以对文件进行创建、删除、重命名等操作。