Spark框架Word Count Scala源码

Eemil Lagerspetz 和 Ella Peltonen 于 2015 年 3 月 13 日 在 Sasu Tarkoma 教授的指导下完成了这份幻灯片。 幻灯片链接： http://is.gd/bigdatascala

项目概述 storm-word-count-demo4.zip 内包含一个 Storm 词频统计演示项目。项目中的 spout 组件继承自基类并实现相关接口，其主要功能是从指定数据源获取数据，为后续的词频统计步骤提供输入。

Scala是一种多范式的编程语言，结合了面向对象和函数式编程的概念，由瑞士联邦理工学院洛桑（EPFL）的Martin Odersky于2001年创立。Scala的设计目标是提供一种简洁、类型安全且能够表达复杂软件构造的语言。其名称来源于“Scalable Language”，意味着它能很好地处理从小规模到大规模的应用。Spark是Apache软件基金会的一个开源大数据处理框架，最初由加州大学伯克利分校AMPLab开发，并于2010年成为Apache项目。Spark主要用Scala编写，使其能够充分利用Scala的强大功能，包括并行和分布式计算的支持，以处理大规模数据集。

该资源为 Apache Spark 项目中 GraphX 组件的 JAR 文件，版本为 1.0.1，构建目标为 Scala 2.10。

Scala 与 Spark 初体验 本资源包含以下软件包，助力您开启 Scala 和 Spark 之旅： JDK 8u211 (Linux x64) Scala 2.11.4 Spark 1.6.0 (适用于 Hadoop 2.6) 获取方式：百度云盘

Spark GraphX 1.1.1 版本专为 Scala 2.10 设计，JAR 文件名为 spark-graphx_2.10-1.1.1.jar，由 Apache Spark 项目维护，用于处理图数据和进行图计算。

本资源包含EduCoder网站上Spark SQL、Spark Streaming和Spark RDD部分的Scala代码示例，涵盖Scala语言的全部内容，帮助学习者更好地理解和掌握Spark编程。

在Oracle数据库中，计算记录条数时，count(*)比count(1)稍微更快一些。这是因为，count(*)会直接计算整个表的行数，而count(1)会计算每一行中常数1的个数，虽然两者的差别微小，但在大数据量的查询中，count(*)通常能提供更好的性能表现。与此同时，如果查询可以通过索引来检索数据，使用索引列来计数通常是最快的方式。例如，对于表t，计算索引列EMPNO的条数，执行SELECT COUNT(EMPNO) FROM t将比计算全表记录的速度更快。

《Learning Spark SQL》的配套源码，与书本内容相辅相成，帮助读者深入理解Spark SQL