MATLAB文件系统与路径操作

阐述了Lustre文件系统架构，提供了一个分布式文件系统的经典示例。

NTFS 文件系统文档 目录 前言 关于 NTFS 文档 表格图例 卷布局 NTFS 属性 概述 属性 - $STANDARD_INFORMATION (0x10) 属性 - $ATTRIBUTE_LIST (0x20) 属性 - $FILE_NAME (0x30) 属性 - $OBJECT_ID (0x40) 属性 - $SECURITY_DESCRIPTOR (0x50) 属性 - $VOLUME_NAME (0x60) 属性 - $VOLUME_INFORMATION (0x70) 属性 - $DATA (0x80) 属性 - $INDEX_ROOT (0x90) 属性 - $INDEX_ALLOCATION (0xA0) 属性 - $BITMAP (0xB0) 属性 - $REPARSE_POINT (0xC0) 属性 - $EA_INFORMATION (0xD0) 属性 - $EA (0xE0) 属性 - $LOGGED_UTILITY_STREAM (0x100) NTFS 文件 概述 NTFS 文件: $MFT (0) NTFS 文件: $MFTMirr (1) NTFS 文件 (待续)

MooseFS是一种通用文件系统，无需修改上层应用即可轻松使用，避免了繁琐的API配置。它支持在线扩容，架构高度可伸缩，官方案例已经扩展至70台服务器。部署简单，深受系统管理员和领导们的青睐。其架构高可用，所有组件无单点故障，文件对象高度可靠，并允许灵活设置文件冗余级别，超越了传统的RAID1+0方案，性能不受影响，甚至能提升读写速度。提供类似于Windows回收站的功能，同时支持类似Oracle的即时回滚特性，无需额外费用。此外，MooseFS还实现了类似Java语言的垃圾回收机制，以及商业存储的快照功能，是Google文件系统的一个C语言实现，提供Web GUI监控接口，提高随机读写和海量小文件处理的效率。

在深入探讨快照、事务日志和存储设备等方面后，我们将聚焦于这些信息在文件系统中的组织方式。理解本节内容需要对之前介绍的快照、事务日志等概念有清晰的认识。 数据存储主要分为事务日志文件和快照文件两种形式。这些文件以普通文件的形式存储于本地文件系统。由于关键路径的事务处理会写入事务日志文件，因此强烈建议将这些文件存储到专用存储设备上，以确保吞吐能力和延迟的一致性。虽然不使用专用设备存储事务日志文件不会引发正确性问题，但会影响性能。 在虚拟化环境中，专用存储设备可能难以获取。与事务日志文件不同，快照文件不要求存储于专用设备，因为它们由后台线程缓慢写入。快照文件写入DataDir参数指定的目录，而事务日志文件写入DataLogDir参数指定的目录。 观察事务日志目录，你会发现一个名为version-2的子目录。这是因为我们对日志和快照格式进行过一次重大改进。通过文件版本分离数据，可以有效处理版本间的数据迁移。

文件系统作为一种数据组织方式，其数据结构呈现以下特点： 记录内部结构化: 文件系统中的数据以记录为单位进行存储，每个记录内部具有一定的结构，用于组织和区分不同的数据项。 程序依赖性: 数据的结构并非文件系统本身定义，而是由应用程序定义和解释。这意味着数据的含义和组织方式取决于具体的应用程序。 定长限制: 文件系统通常要求数据记录长度固定，这限制了其对可变长度数据的处理能力。 变长数据处理复杂性: 虽然可以通过间接方式实现变长数据的存储，但相应应用程序的访问逻辑将变得复杂，增加了开发和维护的难度。 文件间独立性: 文件系统中的文件之间相互独立，缺乏整体结构化的关联。 数据关联需应用程序维护: 要实现数据之间的关联关系，需要在应用程序层面进行定义和维护，增加了应用程序的复杂性。 记录为最小存取单位: 文件系统以记录为粒度进行数据的读写操作，无法直接访问记录内部的单个数据项。

HDFS是大数据的核心组件之一，Hive的数据存储在HDFS中，Mapreduce和Spark的计算数据也存储在HDFS中，HBase的region也在HDFS中。在HDFS shell客户端，我们可以进行上传、删除等多种操作，并管理文件系统。熟练使用HDFS有助于更好地理解和掌握大数据技术。实验的主要目的是掌握HDFS的常用操作和文件系统管理。

FastDFS 优势： 使用方便，无需二次开发 去除文件索引数据库，提升性能 扩容方便 性能更佳： 无文件索引数据库，整体性能优于 MogileFS 使用 C 语言编写，代码简洁高效 采用 socket 通信和内存零拷贝，传输效率高

此讲义讲解了分布式文件系统HDFS

MooseFS支持FUSE，部署相对轻量级。存在单点依赖问题。国内应用较多。