Idea运行Spark程序工具

2017年版的IDEA相比之前的版本在细节上有显著的改进。在我的实验中，我整理了使用过程中的关键要点。

IDEA大数据工具插件，版本2020.03。

Spark 2017 运行指令速查指南 涵盖 Spark 三种运行模式 (local, standalone, yarn) 的常用指令示例，帮助您快速上手并高效运行 Spark 任务。 Local 模式 运行 Spark shell： ./bin/spark-shell 提交 Spark 应用： ./bin/spark-submit --class --master local[N] Standalone 模式 启动集群： ./sbin/start-all.sh 提交 Spark 应用： ./bin/spark-submit --class --master spark://:7077 Yarn 模式 提交 Spark 应用： ./bin/spark-submit --class --master yarn --deploy-mode 更多资源 深入学习 Spark，请访问 https://github.com/huangyueranbbc 获取更多示例和教程。

Spark运行模式包括local本地模式（包括单线程和多线程）、standalone集群模式、yarn集群模式、mesos集群模式以及cloud集群模式。在不同的环境下，可以选择合适的模式来管理资源和任务调度，比如AWS的EC2可方便访问Amazon的S3。此外，Spark支持多种分布式存储系统如HDFS和S3。

适用于IDEA 2020.2-2020.2.2版本的Scala插件，可帮助开发者在IntelliJ IDEA中使用Scala语言。

Spark 程序适用于对静态的历史数据进行一次性处理，它利用单个 Spark 应用实例完成计算。 Spark Streaming 则用于处理连续不断的实时数据流，它将数据流分割成多个批次，并利用一组 Spark 应用实例进行并行处理。

Spark程序一般使用Scala开发，以下示例代码使用Java开发Spark。

在IDEA中开发程序，实现MySQL数据库的数据读写操作，提供mysql.scala源码。

这份资料包含学习MongoDB时使用的文件，并附带了MongoDB运行程序，方便您进行实践操作。