Spark 高级分析数据源码

Spark 高级分析 第二版 本版涵盖Spark核心概念、Scala基础算法以及高级Spark项目实战。通过学习，您将掌握使用Spark进行高级分析的关键技能。 Spark 核心概念: 深入了解Spark架构、RDD、DataFrame和Dataset等核心概念。 Scala 基础算法: 学习使用Scala语言实现常用算法，为Spark项目开发打下基础。 高级 Spark 项目: 通过实际案例，学习如何使用Spark构建端到端的数据分析解决方案。

高级分析与Spark ####一、书籍概述《高级分析与Spark》由四位Cloudera的数据科学家Sandy Ryza、Uri Laserson、Sean Owen及Josh Wills合著，是一本关于如何利用Spark进行大规模数据分析的实用指南。本书详细介绍了Spark及其生态系统的基本概念，并通过实例演示如何应用统计方法和机器学习技术解决现实世界中的数据问题。 ####二、Spark简介Apache Spark是一个开源的大数据处理框架，简化大数据处理流程。相较于传统的Hadoop MapReduce，Spark提供了更高的处理速度和更易用的API。它支持多种编程语言（如Java、Python和Scala），并提供丰富的库支持，例如用于机器学习的MLlib、用于图计算的GraphX等。 ####三、主要内容本书涵盖多种数据分析模式，每个模式均包含一个具体的案例，涵盖不同领域和技术。以下详细介绍这些模式： #####1.推荐音乐与Audioscrobbler数据集- 模式概述：展示如何利用协同过滤算法推荐音乐。 - 应用场景：音乐流媒体服务、社交网络等。 - 关键技术：协同过滤、推荐系统算法。 - 实现语言：Java、Python或Scala。 - 数据集：包含大量用户听歌记录的Audioscrobbler数据集。 #####2.使用决策树预测森林覆盖- 模式概述：介绍如何利用决策树模型预测森林覆盖类型。 - 应用场景：环境科学、地理信息系统等领域。 - 关键技术：决策树算法、分类任务。 - 实现语言：Java、Python或Scala。 - 数据集：森林覆盖数据集。 #####3.网络流量中的异常检测与K-means聚类- 模式概述：利用K-means聚类算法识别网络流量中的异常行为。 - 应用场景：网络安全监控、入侵检测系统等。 - 关键技术：K-means聚类、异常检测。 - 实现语言：Java、Python或Scala。 - 数据集：网络流量日志。 #####4.使用隐语义分析理解维基百科- 模式概述：通过隐语义分析（LSA）提取维基百科内容。

第八章高级查询8.1、通过Spark进行大数据分析时，为了获取更多样的数据视角，可以使用随机返回的技巧来查询。执行SQL语句：Select * from (select ename,job from emp order by dbms_random.value()) where rownum，可以有效地优化数据查询的效率。

数据源： 经营分析系统（BAS） 客户数据：- 基本信息（DW_USR_DCUSTM）- 帐务信息（DW_FEE_SHOULDDM） CDR 数据：- 语音 CDR（DW_CALL_CDR）- IP 业务 CDR（DW_NEWBUSI_CDR）- 短信业务 CDR（DW_NEWBUSI_SMSCDR）- 梦网业务 CDR（DW_NEWBUSI_MESGCDR） 客服数据：- 客服信息

《Learning Spark SQL》的配套源码，与书本内容相辅相成，帮助读者深入理解Spark SQL

提供 Spark 1.6.0 的源码，需自行编译获取可执行程序。

深入解析 Spark 源码，掌握分布式处理核心技术 了解 Spark 运行原理、架构设计和优化策略 提升大数据处理能力，解决海量数据分析难题

在这本实用书的第二版中，四位Cloudera数据科学家介绍了一套用于使用Spark进行大规模数据分析的自包含模式。作者们结合了Spark、统计方法和实际数据集，通过示例教授您如何解决分析问题。本版针对Spark 2.1进行了更新，作为这些技术和Spark编程的最佳实践入门。您将从Spark及其生态系统入手，深入研究应用于基因组学、安全性和金融等领域的常见技术模式，包括分类、聚类、协同过滤和异常检测。如果您具有机器学习和统计学的入门理解，并且使用Java、Python或Scala编程，您将发现本书的模式对您有所帮助。

深入解析Spark：核心概念与源码分析PDF，属于大数据技术丛书之一。