Spark 入门指南

此学习资料适合初学者，提供 Spark 的基础入门知识。

适合对spark技术感兴趣的新手，详细介绍了spark的基础知识和入门路径。特别适合刚接触spark技术的人士。

Spark运行模式包括local本地模式（包括单线程和多线程）、standalone集群模式、yarn集群模式、mesos集群模式以及cloud集群模式。在不同的环境下，可以选择合适的模式来管理资源和任务调度，比如AWS的EC2可方便访问Amazon的S3。此外，Spark支持多种分布式存储系统如HDFS和S3。

Spark 从零开始 本指南将带您踏上 Spark 之旅，涵盖从基础概念到实际环境搭建的完整流程。 Spark 核心概念 弹性分布式数据集 (RDD)：Spark 的基石，一种可并行操作的容错数据集。 转换和行动: RDD 支持两种操作，转换产生新的 RDD，行动触发计算并返回结果。 Spark 运行模式: 了解本地模式、集群模式等的差异，选择适合您需求的模式。 环境搭建指南 Java 安装: Spark 运行需要 Java 环境，请确保已安装 Java 8 或更高版本。 下载 Spark: 从 Spark 官方网站获取最新版本的 Spark 预编译版本。 解压并配置: 解压下载的 Spark 包，并设置必要的环境变量，如 SPARK_HOME。 验证安装: 启动 Spark shell，测试环境是否配置成功。 深入探索 Spark SQL: 使用 SQL 语句处理结构化数据。 Spark Streaming: 实时处理数据流。 MLlib: 用于机器学习的 Spark 库。 GraphX: 用于图计算的 Spark 库。

Spark SQL 入门与应用 本资源深入探讨 Spark SQL 的基础知识及其在 Spark 应用中的作用。 通过学习，您将： 掌握 Spark SQL 的核心概念和使用方法。 了解如何运用 Spark SQL 完成常见的大数据项目任务，例如数据分析、数据清洗和数据转换等。 提升处理和分析大数据的效率。

这本书对Spark有深入的讲解，同时也包括databricks公司推荐的官方电子书《A-Gentle-Introduction-to-Apache-Spark》。备注：共有9个PDF文件，均为英文版。建议阅读，理解起来并不难！

这两项是关键。

初始化SparkSession: 创建SparkSession对象以初始化Spark环境。 创建DataFrame: 通过SparkSession.read方法从数据源加载数据或通过SparkSession.createDataFrame方法从RDD/Dataset创建DataFrame。 处理DataFrame: DataFrame提供了丰富的转换和操作，如select、filter、join和groupBy。 触发操作: 使用DataFrame.show显示数据或使用DataFrame.write将数据保存到外部存储。

大数据实时介绍（图说）使用Spark SQL时必须导入以下依赖包：org.apache.spark:spark-sql_2.10:1.6.1 和 org.apache.spark:spark-hive_2.10:1.6.1 。