RDD操作

Spark-RDD.md

Spark RDD提供了一种灵活的数据处理方式，适用于分布式计算环境。利用RDD，用户可以轻松地进行数据分片和并行计算，从而提高处理效率。通过RDD的转换和行动操作，可以实现数据的高效处理和分析。RDD支持多种编程语言，方便用户根据需求进行选择。

spark 2 2024-07-12

Spark RDD 算子详解

RDD 分区调整：- repartition()- coalesce()聚合函数：- reduce()- aggregate()关联函数：- join()- cogroup()

spark 3 2024-04-30

Scala中RDD操作的详细分析与实例

详细解析了Scala语言中操作RDD的代码。通过逐行分析Scala基础和RDD操作，深入解释了map和reduceByKey的使用方法。同时探讨了Scala中下划线的多种用法，如作为占位符、元组元素访问、模式匹配和变量初始化。最后介绍了transform操作在RDD转换中的应用。

spark 0 2024-08-24

Spark RDD持久化策略选择指南

Spark提供多种RDD持久化级别，用于在CPU和内存消耗之间进行权衡。建议优先考虑MEMORY_ONLY，若数据量过大则选择MEMORY_ONLY_SER进行序列化存储。另外，可选带有_2后缀的备份策略以实现快速失败恢复，避免重新计算。尽量避免使用DISK相关策略，因为从磁盘读取数据的性能不如重新计算。

spark 2 2024-07-13

南华大学RDD实验报告改写

深入理解PPT中的RDD算子

spark 2 2024-07-17

Spark RDD深度解析与基本语法详解

深入探讨了Spark RDD的核心概念和基本语法，涵盖了Spark的基本特性、生态体系、支持的API、运行模式以及RDD的创建和计算类型。Spark作为高可伸缩性、高容错性的分布式计算框架，通过内存存储中间结果和优化有向无环图等特点，显著提高了大规模数据处理的效率。文章还详细介绍了RDD的容错Lineage机制，确保计算过程的可靠性。

spark 0 2024-08-22

Java操作MySQL详解基础操作

Java操作MySQL的驱动程序为com.mysql.jdbc.Driver，连接URL为jdbc:mysql://localhost:3306/db，用户名为root，密码需使用mysql-connector-java-3.1.13-bin.jar提供的包。

MySQL 3 2024-07-28

MongoDB操作指南

提供了全面清晰的MongoDB操作说明，包含常见应用场景指南，帮助您充分发挥MongoDB的优势。

MongoDB 4 2024-04-30

SQLite 操作指南

SQLite 操作指南 本指南涵盖 SQLite 数据库的常见操作，包括： 数据定义： 创建数据库和表 定义表结构和约束 修改表结构 数据操作： 插入新数据 查询数据 更新数据 删除数据 其他操作: 数据类型 运算符 函数 索引 视图 通过学习本指南，您将能够熟练地使用 SQLite 进行数据管理。

SQLite 3 2024-04-30

Redis 操作命令

DEL 命令 删除一个或多个键，不存在的键会被忽略。 可用版本：>= 1.0.0 时间复杂度：O(N)，N 为被删除的键的数量。 返回值：被删除键的数量。 DUMP 命令 将给定键序列化，并返回被序列化的值，使用 RESTORE 命令可以将这个值反序列化为 Redis 键。 可用版本：>= 2.6.0 时间复杂度：查找给定键的复杂度为 O(1)，对键进行序列化的复杂度为 O(N*M)，其中 N 是构成键的 Redis 对象的数量，而 M 则是这些对象的平均大小。 返回值：如果键不存在，则返回 nil。否则，返回序列化后的值。

Redis 3 2024-04-30