Spark SQL, DataFrames以及Datasets编程指南.pdf

Matlab编程规范指南及高效的C/C++编程技巧

详细解析数据库初学者入门的SQL编程知识，逐步深入，易于理解和实践。

Minning of Massive Datasets.pdf是一本优秀的资料，涵盖了大规模数据挖掘及其应用mapreduce技术。

这份文档来源于Spark官网，详细介绍了Spark 2.0版本的Java编程开发指南及相关内容。

Spark编程指南是一本适合初学者的入门手册，涵盖了Apache Spark的核心概念和操作，帮助编程人员快速掌握Spark的使用并理解其生态系统。Apache Spark是一个快速、大规模、通用的计算引擎，提供了丰富的高级API，支持Java、Scala、Python和R等编程语言。Spark的设计目标是支持数据在内存中的处理，以提高数据处理速度，也被称为内存计算。与Hadoop MapReduce相比，Spark可以将作业中间结果保存在内存中，避免昂贵的磁盘I/O操作，大大提升处理效率。Spark编程的核心是围绕RDD（弹性分布式数据集）展开的，RDD是分布式内存的一个抽象概念，提供一个容错的并行操作数据集。在Spark中，所有计算都围绕着RDD执行，RDD可视为Spark的灵魂。RDD具有两个核心操作：转换（Transformations）和行动（Actions）。转换操作创建一个新的RDD，例如map和filter；行动操作则返回结果或将数据写入外部存储系统，例如count和first。Spark还提供了键值对操作，支持更复杂的计算，如MapReduce、连接（Joins）和分组（Groups）。这些操作通常用于处理键值对数据，允许用户轻松实现分布式数据操作。Spark Streaming是Spark的一个扩展，用于处理实时数据流，用户可从Kafka、Flume、Twitter等不同来源接收实时数据，并使用Spark的API处理数据。Spark Streaming引入了一个新的概念DStream（Discretized Stream），表示连续的数据流，可以看作是RDD的序列，并提供用于数据流的转换和行动操作。在使用Spark时，监控和调优性能是重要环节。监控可以了解应用的运行状态和资源使用情况；调优则是在性能不足时，通过分析和修改来提高效率，包括减少任务执行时间、设置合理并行度及使用缓存等策略。SparkSQL是Spark用于结构化数据处理的模块，允许用户使用SQL查询数据，同时提供DataFrame API便于操作半结构化数据。SparkSQL支持Hive、JSON、Parquet等数据格式。

这篇文章涉及《编程微软SQL Server 2012》一书，由Leonard Lobel和Andrew Brust合著，由O'Reilly Media, Inc.出版，详细介绍了SQL Server 2012的关键编程技术和数据库管理优化策略。内容涵盖了T-SQL、存储过程、触发器、性能优化、数据安全、合规性要求、事务处理、错误处理、SSIS和SSRS的实际应用，适合希望深入学习SQL Server编程与管理的读者。

Scala是一种多范式的编程语言，结合了面向对象和函数式编程概念，提供高效、灵活和表达力强的编程环境。Scala的名字来源于“Scalable Language”，表明它能够随着项目规模的增长而扩展。本教程深入探讨Scala的基础知识，帮助读者快速入门。内容涵盖基础语法、类与对象、函数、模式匹配、集合库、类型系统、Actors模型、未来和承诺、泛型以及Scaladoc的使用。

OCI Oracle的学习资料包含安装及简单使用方法的详细说明。

Mining of Massive Datasets is based on Stanford Computer Science course CS246: Mining Massive Datasets (and CS345A: Data Mining). The book is designed for undergraduate computer science students with no formal prerequisites. Most chapters include further reading references for deeper exploration. It has been published by Cambridge University Press. You can get a 20% discount using the code MMDS20 at checkout. The book is available for free download from this page, but Cambridge University Press retains copyright, so please obtain permission and acknowledge authorship for any republication. Feedback on the manuscript is welcome.