Spark指南

Spark 入门指南

此学习资料适合初学者，提供 Spark 的基础入门知识。

spark 4 2024-05-01

Spark 入门指南

Spark 是一种类似 Hadoop 的开源集群计算环境。与 Hadoop 相比，Spark 具有以下优点：启用了内存分布数据集、支持交互式查询和优化了迭代工作负载。Spark 采用 Scala 语言实现，将 Scala 作为其应用程序框架。Scala 与 Spark 紧密集成，使 Scala 能够像操作本地集合对象一样轻松操作分布式数据集。

spark 6 2024-05-13

Spark安装指南

Spark是伯克利加州大学AMP实验室开发的开源通用并行框架，具有Hadoop MapReduce的优点。Spark的独特之处在于，它可以将作业中间输出结果保存在内存中，从而避免了对HDFS的频繁读写，非常适合需要迭代的MapReduce算法，如数据挖掘和机器学习。

数据挖掘 2 2024-05-23

Spark 实用指南

这份文档深入浅出地讲解了 Spark 的安装步骤、使用方法以及在大数据分析领域的应用。对于想要学习和了解 Spark 的读者来说，这份文档将会是一个很好的开始。

spark 2 2024-05-31

Spark 源码编译指南

提供 maven 和 sbt 两种编译方法 包含设置国内镜像加速依赖包下载的方法 记录了详细的操作步骤和注意事项

spark 4 2024-05-01

Spark特征处理指南

Spark是处理大规模数据的强大工具，广泛用于数据挖掘和分析。了解特征处理在提高模型性能中的关键作用至关重要。 特征处理包括： 特征提取：从原始数据中创建有意义的特征。 特征转换：修改特征以提高模型的理解和适用性。 特征选择：识别和保留对模型预测最有影响的特征。 通过遵循这些步骤，您可以提高Spark模型的准确性和效率。

数据挖掘 3 2024-05-23

Spark 集群搭建指南

本指南提供详细的 Spark 集群安装步骤，并配有清晰的截图，帮助您顺利完成安装过程。即使是初学者，也可以按照指南轻松搭建自己的 Spark 集群。

spark 3 2024-05-29

Spark学习指南

Spark学习笔记适合初学者入门，详细资源请查阅个人GitHub：https://github.com/huangyueranbbc。

spark 3 2024-07-13

Spark Executor 分配指南

为 SparkContext 分配 Executor 时，需要考虑内存和 CPU 资源。内存分配应避免过度分配，导致内存溢出或数据溢出。CPU 分配应根据实际计算需求调整，可根据 CPU 使用率进行观察。

spark 5 2024-04-30

Spark 集群搭建指南

Spark 集群搭建指南 Spark，一个类似于 Hadoop 的开源集群计算平台，在特定工作负载中展现出卓越性能。其优势在于内存分布式数据集的使用，支持交互式查询并优化迭代工作负载。 Spark 以 Scala 语言实现，并将其作为应用框架。与 Hadoop 不同，Spark 与 Scala 深度集成，使 Scala 操作分布式数据集如同操作本地集合对象一样便捷。

spark 3 2024-04-30