深入解析经典分布式文件系统Lustre

探究经典分布式文件系统架构

探究经典分布式文件系统架构 本丛书深入剖析各类分布式文件系统的核心技术原理及其特性，为软件开发人员提供宝贵的学习资源，助力其在分布式系统领域更上一层楼。

算法与数据结构 3 2024-05-21

Lustre经典分布式文件系统功能模块一介绍

Lustre的第一个功能模块是元数据存储与管理（MDS），负责管理元数据并提供全局命名空间。客户端可以通过MDS访问保存在MDT上的元数据。在Lustre系统中，可以配置两个MDS节点，采用了Active-Standby的容错机制，以确保系统的可靠性。MDT模块只有一个，不同MDS节点共享访问同一个MDT。

算法与数据结构 0 2024-08-04

HDFS经典分布式文件系统介绍与架构解析

经典分布式文件系统三：HDFS Hadoop是一个基于JAVA的支持数据密集型分布式应用的分布式文件系统。它不仅仅是一个用于存储的分布式文件系统，还设计为在由通用计算设备组成的大型集群上执行分布式应用的框架。Hadoop能够保证应用可以在上千个低成本商用硬件存储结点上处理PB级数据。作为Apache的开源项目，Hadoop得到了Yahoo的支持，且被应用于其Web搜索和商业广告业务。 Hadoop的开发受到Google的MapReduce和Google文件系统技术的启发，提供了与之类似的分布式文件系统框架。

算法与数据结构 0 2024-10-25

HDFS分布式文件系统

HDFS是大数据的核心组件之一，Hive的数据存储在HDFS中，Mapreduce和Spark的计算数据也存储在HDFS中，HBase的region也在HDFS中。在HDFS shell客户端，我们可以进行上传、删除等多种操作，并管理文件系统。熟练使用HDFS有助于更好地理解和掌握大数据技术。实验的主要目的是掌握HDFS的常用操作和文件系统管理。

算法与数据结构 2 2024-07-12

FastDFS 与 MogileFS 比较：经典分布式文件系统

FastDFS 优势： 使用方便，无需二次开发 去除文件索引数据库，提升性能 扩容方便 性能更佳： 无文件索引数据库，整体性能优于 MogileFS 使用 C 语言编写，代码简洁高效 采用 socket 通信和内存零拷贝，传输效率高

算法与数据结构 4 2024-05-20

HDFS分布式文件系统讲义

此讲义讲解了分布式文件系统HDFS

Hadoop 4 2024-05-15

MooseFS分布式文件系统概况

MooseFS支持FUSE，部署相对轻量级。存在单点依赖问题。国内应用较多。

算法与数据结构 4 2024-05-26

Hadoop分布式文件系统简介

Hadoop分布式文件系统（HDFS）是Apache Hadoop项目的核心组件之一，处理大数据存储和处理需求。它通过在廉价硬件上分布数据和计算任务来提供高容错性和高可靠性。HDFS适用于需要处理大规模数据的应用场景，如数据分析和机器学习。

Hadoop 2 2024-07-13

MooseFS分布式文件系统详解

MooseFS是一个采用C语言编写的高容错性分布式文件系统，能够将数据资源分布存储在多台不同的物理介质上，并为用户提供统一的访问接口。用户可以通过mfsmount与管理服务器交互，操作元数据文件并与数据服务器交换数据，这一机制基于FUSE（用户空间文件系统），使MooseFS能够在支持FUSE的操作系统上工作，如Linux、FreeBSD、OpenSolaris和MacOS等。

算法与数据结构 0 2024-08-24