2.3数据存储体系2.3.1 HDFS存储JDHDFS是京东基于HDFS自研的大数据分布式存储平台,采用分布式存储技术,满足大数据高效可靠的存储需求,提供较高的持久性、较高的吞吐量和较低的延迟速度,具备高可用性和高可靠性的特点,容易扩展,并支持水平扩展至百PB级存储容量,同时拥有较高的硬件故障容忍能力,提供全面的安全性和多样化的权限功能。相对于开源版本的HDFS,JDHDFS主要改进的技术点如下:(1)基于路由的Federation方案(Router-Based Federation)随着集群规模的增长,Namenode存储成为集群性能的关键瓶颈。我们参考社区版本设计文档,研发功能模块RBF(Router-Based Federation基于路由的Federation方案),支持动态映射、嵌套映射等功能,可以解决hadoop集群无限横向扩展的规模问题。