Spark 2017 运行指令速查指南

涵盖 Spark 三种运行模式 (local, standalone, yarn) 的常用指令示例,帮助您快速上手并高效运行 Spark 任务。

Local 模式

  • 运行 Spark shell: ./bin/spark-shell
  • 提交 Spark 应用: ./bin/spark-submit --class
    --master local[N]

Standalone 模式

  • 启动集群: ./sbin/start-all.sh
  • 提交 Spark 应用: ./bin/spark-submit --class
    --master spark://:7077

Yarn 模式

  • 提交 Spark 应用: ./bin/spark-submit --class
    --master yarn --deploy-mode

更多资源

深入学习 Spark,请访问 https://github.com/huangyueranbbc 获取更多示例和教程。