Spark：大数据计算的利刃

Spark作为一种新型的数据库形式，综合了以往各类数据库的优点，经过精心研制而成。

这篇文章介绍了如何利用现代技术栈构建数据处理系统。系统基于Spring Boot框架提供HTTP服务，使用Scala作为主要编程语言，并依托Apache Spark进行大规模数据计算。Spring Boot简化了项目的启动和配置，Scala利用其强大的类型系统和函数式编程能力在大数据领域展示了优势，而Apache Spark则提供了高速且易于使用的计算框架，支持多种复杂工作负载。

这本书对Spark有深入的讲解，同时也包括databricks公司推荐的官方电子书《A-Gentle-Introduction-to-Apache-Spark》。备注：共有9个PDF文件，均为英文版。建议阅读，理解起来并不难！

这两项是关键。

本系列展示大数据领域的新研究和应用，以及当前正在开发的计算工具和技术。鼓励包含具体的示例和应用。该系列的范围包括社交网络、传感器网络、数据中心计算、天文学、基因组学、医疗数据分析、大规模电子商务等领域的题目，还包括其他潜在贡献者提出的相关主题。

本视频教程专注于2017年的云计算与大数据技术，深入探讨了Hadoop、Storm、Kafka和Spark等核心组件的开发与应用。帮助初学者快速建立起对大数据处理领域的理解和实践能力。Hadoop是Apache软件基金会的开源项目，用于分布式存储和计算，核心包括HDFS和MapReduce。Storm是实时计算系统，用于处理无限的数据流，与Hadoop结合构建混合实时和批量处理环境。Kafka是高吞吐量的分布式消息系统，主要用于构建实时数据管道和流应用。Spark是快速、通用且可扩展的大数据处理框架，支持批处理、交互式查询、实时流处理、机器学习和图计算。通过本教程，你将掌握使用这些工具进行数据的读取、存储、处理和分析。

大数据分析平台Spark在“蘑菇云”行动中发挥了关键作用。

本课程包含Spark大数据全套知识体系，从基础概念讲解到实战案例演示，为你全面掌握Spark提供完整学习路径。

首次Spark习题，助你开启大数据学习之旅。