Scala与Spark：大数据分析实战

Scala 与 Spark 大数据分析实战 Md. Rezaul Karim 著 本书深入讲解如何利用 Scala 编程语言的强大功能，结合 Spark 大数据处理框架，高效地分析海量数据。 主要内容： 掌握 Scala 语言的精髓，包括面向对象编程和函数式编程范式 探索 Spark 的多种应用场景，从简单的批处理作业到实时流处理和机器学习 通过实际案例学习如何使用 Spark 进行大规模数据分析 适合人群： 渴望学习 Spark 大数据分析技术的开发者 对 Scala 语言感兴趣，并希望将其应用于数据分析领域的程序员 学习收获： 深入理解 Scala 的面向对象和函数式编程概念 掌握 Spark 的核心原理和使用方法 能够使用 Spark 进行各种数据分析任务，例如数据清洗、转换、聚合等 构建基于 Spark 的机器学习模型 无需 Spark 或 Scala 经验，但具备编程经验（尤其是 JVM 语言）将有助于更快掌握相关概念。

Eemil Lagerspetz 和 Ella Peltonen 于 2015 年 3 月 13 日 在 Sasu Tarkoma 教授的指导下完成了这份幻灯片。 幻灯片链接： http://is.gd/bigdatascala

本课程包含Spark大数据全套知识体系，从基础概念讲解到实战案例演示，为你全面掌握Spark提供完整学习路径。

Scala、Hadoop和Spark是当前大数据领域的核心技术，Scala作为多范式语言，结合了面向对象和函数式编程的特点，简洁高效；Hadoop提供高容错性的分布式存储与处理解决方案；Spark则为大数据处理提供了快速通用的计算引擎，支持SQL查询、流处理和机器学习。本教程从Scala创建SparkContext对象开始，详细介绍其在大数据应用中的关键角色和配置调试方法，帮助开发者快速上手。

聚焦金融行业，这套大数据挖掘分析实战教程整合了从理论到实践所需的全部资料，包括详细的文档讲解、完整的代码实现以及相关软件工具。

大数据分析平台Spark在“蘑菇云”行动中发挥了关键作用。

第三章中的基础查询包括以下内容：普通用户连接方式为Conn scott/tiger，超级管理员连接为Conn “sys/sys as sysdba”，断开连接使用Disconnect命令，并保存SQL到文件c:\1.txt，使用Ed命令编辑SQL语句，运行SQL语句用@ c:\1.txt。查询命令包括Desc emp用于描述Emp表结构，Select * from tab查看该用户下的所有对象，Show user显示当前用户信息。在sys用户下查询Emp表时，应使用Select * from scott.emp命令，否则会报错。此外，第3.2节介绍了SQL的基本概念，全称为结构化查询语言，是标准的数据库查询语言。1986年10月，美国ANSI对SQL进行了规范，成为关系数据库管理系统的标准语言（ANSI X3. 135-1986），并得到国际标准组织的支持，尽管各种数据库系统对SQL规范进行了一些调整和扩展，因此不同的数据库系统之间的SQL语句可能不完全通用。SQL语句分为DML语句（数据操作语言）如Insert、Update、Delete、Merge，DDL语句（数据定义语言）如Create、Alter、Drop、Truncate，DCL语句（数据控制语言）如Grant、Revoke，以及事务控制语句如Commit、Rollback、Savepoint。

掌握Scala，轻松驾驭Spark实战！

脱敏测试数据，用于Spark大数据分析