文件系统交互

阐述了Lustre文件系统架构，提供了一个分布式文件系统的经典示例。

NTFS 文件系统文档 目录 前言 关于 NTFS 文档 表格图例 卷布局 NTFS 属性 概述 属性 - $STANDARD_INFORMATION (0x10) 属性 - $ATTRIBUTE_LIST (0x20) 属性 - $FILE_NAME (0x30) 属性 - $OBJECT_ID (0x40) 属性 - $SECURITY_DESCRIPTOR (0x50) 属性 - $VOLUME_NAME (0x60) 属性 - $VOLUME_INFORMATION (0x70) 属性 - $DATA (0x80) 属性 - $INDEX_ROOT (0x90) 属性 - $INDEX_ALLOCATION (0xA0) 属性 - $BITMAP (0xB0) 属性 - $REPARSE_POINT (0xC0) 属性 - $EA_INFORMATION (0xD0) 属性 - $EA (0xE0) 属性 - $LOGGED_UTILITY_STREAM (0x100) NTFS 文件 概述 NTFS 文件: $MFT (0) NTFS 文件: $MFTMirr (1) NTFS 文件 (待续)

MooseFS是一种通用文件系统，无需修改上层应用即可轻松使用，避免了繁琐的API配置。它支持在线扩容，架构高度可伸缩，官方案例已经扩展至70台服务器。部署简单，深受系统管理员和领导们的青睐。其架构高可用，所有组件无单点故障，文件对象高度可靠，并允许灵活设置文件冗余级别，超越了传统的RAID1+0方案，性能不受影响，甚至能提升读写速度。提供类似于Windows回收站的功能，同时支持类似Oracle的即时回滚特性，无需额外费用。此外，MooseFS还实现了类似Java语言的垃圾回收机制，以及商业存储的快照功能，是Google文件系统的一个C语言实现，提供Web GUI监控接口，提高随机读写和海量小文件处理的效率。

在深入探讨快照、事务日志和存储设备等方面后，我们将聚焦于这些信息在文件系统中的组织方式。理解本节内容需要对之前介绍的快照、事务日志等概念有清晰的认识。 数据存储主要分为事务日志文件和快照文件两种形式。这些文件以普通文件的形式存储于本地文件系统。由于关键路径的事务处理会写入事务日志文件，因此强烈建议将这些文件存储到专用存储设备上，以确保吞吐能力和延迟的一致性。虽然不使用专用设备存储事务日志文件不会引发正确性问题，但会影响性能。 在虚拟化环境中，专用存储设备可能难以获取。与事务日志文件不同，快照文件不要求存储于专用设备，因为它们由后台线程缓慢写入。快照文件写入DataDir参数指定的目录，而事务日志文件写入DataLogDir参数指定的目录。 观察事务日志目录，你会发现一个名为version-2的子目录。这是因为我们对日志和快照格式进行过一次重大改进。通过文件版本分离数据，可以有效处理版本间的数据迁移。

本节主要介绍MATLAB中用于文件系统和路径操作的两个关键函数：which 和 path。 which 函数：定位文件 which 函数用于查找指定文件所在的目录。例如， which test.m 命令会返回文件 test.m 的完整路径。 path 函数：管理搜索路径 path 函数用于管理MATLAB的搜索路径。执行 path 命令会显示当前MATLAB启动时设定的所有搜索路径。

文件系统作为一种数据组织方式，其数据结构呈现以下特点： 记录内部结构化: 文件系统中的数据以记录为单位进行存储，每个记录内部具有一定的结构，用于组织和区分不同的数据项。 程序依赖性: 数据的结构并非文件系统本身定义，而是由应用程序定义和解释。这意味着数据的含义和组织方式取决于具体的应用程序。 定长限制: 文件系统通常要求数据记录长度固定，这限制了其对可变长度数据的处理能力。 变长数据处理复杂性: 虽然可以通过间接方式实现变长数据的存储，但相应应用程序的访问逻辑将变得复杂，增加了开发和维护的难度。 文件间独立性: 文件系统中的文件之间相互独立，缺乏整体结构化的关联。 数据关联需应用程序维护: 要实现数据之间的关联关系，需要在应用程序层面进行定义和维护，增加了应用程序的复杂性。 记录为最小存取单位: 文件系统以记录为粒度进行数据的读写操作，无法直接访问记录内部的单个数据项。

HDFS是大数据的核心组件之一，Hive的数据存储在HDFS中，Mapreduce和Spark的计算数据也存储在HDFS中，HBase的region也在HDFS中。在HDFS shell客户端，我们可以进行上传、删除等多种操作，并管理文件系统。熟练使用HDFS有助于更好地理解和掌握大数据技术。实验的主要目的是掌握HDFS的常用操作和文件系统管理。

此讲义讲解了分布式文件系统HDFS

MooseFS支持FUSE，部署相对轻量级。存在单点依赖问题。国内应用较多。

Hadoop分布式文件系统（HDFS）是Apache Hadoop项目的核心组件之一，处理大数据存储和处理需求。它通过在廉价硬件上分布数据和计算任务来提供高容错性和高可靠性。HDFS适用于需要处理大规模数据的应用场景，如数据分析和机器学习。