Java开发Spark程序

Spark GraphX Java库（2.2.1版本）专为Spark 2.11环境设计。它提供用于图形处理和分析的高级API。

Spark 程序适用于对静态的历史数据进行一次性处理，它利用单个 Spark 应用实例完成计算。 Spark Streaming 则用于处理连续不断的实时数据流，它将数据流分割成多个批次，并利用一组 Spark 应用实例进行并行处理。

这份文档来源于Spark官网，详细介绍了Spark 2.0版本的Java编程开发指南及相关内容。

Spark应用程序的开发通常在Spark Shell中进行，便于代码调试。为了在生产环境中运行，推荐将调试后的代码打包成独立的Spark应用程序，并通过Scala编写并使用sbt进行打包。安装sbt的步骤包括下载sbt-launch.jar至安装目录/usr/local/sbt，创建启动sbt的Shell脚本，并增加执行权限。

Spark是Apache软件基金会下的开源大数据处理框架，因其高效、灵活和易用的特性在大数据领域广受欢迎。将深入探讨Spark核心概念如RDD和DAG，以及Spark编程模型中Java API的应用。同时讨论Spark与HDFS的数据存储互动、不同的作业执行模式，以及Java编程实践中的重要步骤和操作。

可以在github上下载hadoop2.7.3-on-windows_X64-master.zip，亲测可用。

本指南为开发者提供使用Java进行数据库应用程序开发的全面指导。 数据库连接 Java通过JDBC（Java数据库连接）API与数据库建立连接。JDBC提供了一套标准接口和类，允许开发者使用统一的方式访问不同类型的数据库。 驱动程序管理: 开发者需要加载相应的数据库驱动程序，以便JDBC能够与目标数据库进行通信。 连接建立: 使用DriverManager.getConnection()方法，并提供数据库URL、用户名和密码等信息，即可建立与数据库的连接。 数据操作 JDBC支持各种数据操作，包括查询、插入、更新和删除。 Statement接口: 用于执行静态SQL语句。 PreparedStatement接口: 用于执行预编译的SQL语句，可以提高性能并防止SQL注入攻击。 CallableStatement接口: 用于执行存储过程。 结果集处理 数据库查询操作会返回一个ResultSet对象，开发者可以使用该对象遍历查询结果。 结果集导航: ResultSet提供了多种方法用于在结果集中移动，例如next(), previous(), first()等。 数据获取: 可以使用getXxx()方法获取指定列的数据，其中Xxx代表数据类型，例如getString(), getInt()等。 事务管理 JDBC支持事务的概念，可以确保多个数据库操作作为一个原子单元执行。 事务隔离级别: JDBC定义了不同的隔离级别，用于控制并发事务之间的可见性和影响。 事务控制: 可以使用commit()方法提交事务，使用rollback()方法回滚事务。 高级主题 连接池: 用于提高数据库访问性能。 ORM框架: 例如Hibernate和MyBatis，可以简化数据库操作。 NoSQL数据库: Java也支持访问NoSQL数据库，例如MongoDB和Cassandra。 总结 本指南涵盖了使用Java进行数据库应用程序开发的基本概念和技术。 通过学习和掌握这些知识，开发者可以构建功能强大、安全可靠的数据库应用程序。

排除 NoSuchMethodError: scala.collection.JavaConverters（版本不匹配）。 解决 java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream（添加 Hadoop 包）。 从 spark-2.4.2-bin-hadoop2.7 中导入 example 源码以进行开发。 设置 Library（spark 包）、SDK（JDK 1.8）和 Global Libraries（Scala）。

手把手搭建Eclipse和Spark的集成环境，解决新手和学生遇到的问题，助你无忧开发Spark项目。