使用 Java 操作 Parquet 文件

使用 Parquet CLI 查看 Parquet 文件的元数据，可了解文件中的行组数量、行组大小、列编码、列统计信息、字典编码回退和索引信息。

利用 PySpark 的强大功能，你可以轻松将 CSV 文件转换为更高效的 Parquet 格式，实现数据处理的优化。

本项目提供一个 Java 操作 HDFS 文件的实用案例，涵盖文件创建、删除、上传、下载等常用功能。请确保在运行前已成功搭建 Hadoop 集群。

ParquetViewer.exe 是一款 Windows 平台上的 Parquet 文件 编辑器，它允许用户打开、查看和编辑 Parquet 格式 的数据文件。该工具使用户能够快速预览和操作 Parquet 格式的数据，而无需使用复杂的编程工具。该编辑器支持查看文件的详细内容，并提供简单的操作界面，方便用户进行数据处理和分析。

介绍如何使用Java代码实现HDFS文件系统基础操作，包括创建目录、上传文件、下载文件、删除文件、文件重命名以及获取文件列表等功能。

利用POI库进行Excel数据处理，将数据有效地导入到MySQL数据库中。

_access 函数用于检查文件的访问权限，例如只读、只写等。 函数原型： int _access(const char *path, int mode); 参数说明： path: 目标文件路径。 mode: 要检查的访问模式。常见的模式包括： 00: 检查文件是否存在。 02: 检查文件是否可写。 04: 检查文件是否可读。 06: 检查文件是否可读可写。 返回值： 如果指定的访问模式有效，则返回 0。 否则返回 -1，并设置全局变量 errno 以指示错误类型。 示例： 以下代码检查文件 access.c 是否可写： #include #include int main(void) { if (_access("ACCESS.C", 0) != -1) { printf("文件 ACCESS.C 存在 "); if (_access("ACCESS.C", 2) != -1) { printf("文件 ACCESS.C 可写 "); } else { printf("文件 ACCESS.C 不可写 "); } } else { printf("文件 ACCESS.C 不存在 "); } return 0; } 注意： _access 函数的行为可能受到文件系统和操作系统的限制。

Navicat软件可以帮助您生成SQL文件，随后您可以将这些文件导入到PowerDesign中，从而生成PDM文件。

parquet-tools-0.1.0-bin.tar.gz 可供下载。