Hadoop是Apache基金会开发的分布式系统基础架构。用户无需了解分布式底层细节,即可开发分布式程序,利用集群进行高速运算和存储。Hadoop实现了分布式文件系统(Hadoop Distributed File System, HDFS)。HDFS具备高容错性,设计用于低成本硬件,提供高吞吐量数据访问,适用于大数据集的应用程序。HDFS放宽了POSIX要求,支持以流的形式访问文件系统中的数据。Hadoop框架的核心设计是HDFS和MapReduce,HDFS提供数据存储,MapReduce提供数据计算。