所需程序:

  • Apache Spark 2.4.4 及以上版本
  • Java Development Kit (JDK) 8 或以上版本
  • R 语言

配置:

  1. 下载并安装 Spark
  2. 将 Spark 目录添加到系统环境变量中
  3. 将 R 语言目录添加到系统环境变量中
  4. 在 R 脚本中设置 hadoop.home.dir 为 Spark 目录
  5. winutils.exe 放置在 R 语言目录的 bin 文件夹中

备注:

此方法无需安装 Hadoop,仅适用于 R 语言开发。