Spark 2017 运行指令速查指南
涵盖 Spark 三种运行模式 (local, standalone, yarn) 的常用指令示例,帮助您快速上手并高效运行 Spark 任务。
Local 模式
- 运行 Spark shell:
./bin/spark-shell
- 提交 Spark 应用:
./bin/spark-submit --class
--master local[N]
Standalone 模式
- 启动集群:
./sbin/start-all.sh
- 提交 Spark 应用:
./bin/spark-submit --class
--master spark:// :7077
Yarn 模式
- 提交 Spark 应用:
./bin/spark-submit --class
--master yarn --deploy-mode
更多资源
深入学习 Spark,请访问 https://github.com/huangyueranbbc 获取更多示例和教程。