Spark 3.0.0 Kafka 连接

在 Spark 3.0.0 版本对接 Kafka 数据源时，所需的 spark-token-provider-kafka-0-10_2.12-3.0.0.jar 文件。由于最新版本无法通过阿里云的 Maven 仓库直接下载，用户需手动导入该 JAR 包。若有需要的朋友，可以从本页面免费下载。

在用 PySpark 实时数据流时，连接 Kafka 几乎是必不可少的。你需要的这个spark-streaming-kafka-0-8-assembly_2.11-2.4.3.jar，就是用来实现这个功能的 JAR 包。只要将它放到 Python 所在的 site-package 目录下，并确保它被添加到 Pyspark 的 jars 目录里，你就可以轻松地在 PySpark 中读取 Kafka 的消息了。连接简单，性能也还不错，是多项目中不可或缺的部分。如果你在搞流式数据，这就是你需要的工具包！

提供 Spark Streaming 与 Kafka 集成所需要的 JAR 包： spark-streaming-kafka-0-8_2.11-2.4.0.jar

Windows10 搭建 PySpark (基于 Spark-3.0.0-bin-hadoop2) 两种搭建方法： 使用 pip 安装pip install pyspark如果安装过程中出现超时，可以下载 pyspark-3.0.0.tar 后离线安装。 离线安装 解压 pyspark-3.0.0.tar。 进入解压后的目录，找到 setup.py 文件。 运行命令 python setup.py install 并等待安装完成。 此方法可以一次性解决所有环境问题。

spark + kafka项目 jar包

Apache Atlas框架通过提供规范、审计和丰富的沿袭，提高了Hadoop的可视性，并允许与企业数据生态系统集成。Atlas-Kafka连接器通过使用Apache Ranger保护元数据，防止未授权访问。安全性基于角色(RBAC)和属性(ABAC)。

使用 Maven 生成的 Jedi 3.0.0 完整 JAR 文件，包含：- Jedi 3.0.0.jar- Jedi 3.0.0-sources.jar- Jedi 3.0.0-javadoc.jar不包含测试文件夹。

Kerberos 的安全认证 demo 适合刚接触分布式系统安全的朋友。这个项目集成了 Hadoop 生态圈里的主流组件，包括 Spark、Kafka、Hive、HDFS 等，展示了它们如何在 Kerberos 环境下实现安全认证。如果你对 Kerberos 的票证机制还一头雾水，通过这个示例操作一遍，保证思路清晰多。比如，Spark需要配置spark.security.credentials.kerberos.enabled为true，再指定principal和keytab路径，就能搞定和 HDFS 的安全通信。还有，Hive的服务端要配置hive.server2.authenticatio

Spark 的流式能力加上 Kafka 的高吞吐消息系统，这种组合在实时大数据里真的是老搭档了。spark-streaming-kafka-0-8-assembly_2.11-2.4.5这个 JAR 包就是专门干这事的，专为Spark 2.4.x和Scala 2.11量身定做，想要让 Spark Streaming 读 Kafka 0.8 的数据，离不开它。 对你来说，最直接的好处就是能快速搭起流链路。DirectStream和ReceiverStream两种方式可选，前者精确一次，后者适合低延迟场景。要读取 Kafka 数据，就用KafkaUtils.createDirectStream，加

Spark 大数据习题的内容覆盖挺全面的，像Spark SQL、Kafka、HBase、Hive这些大数据主力都能在里面找到练习点。最开始是从Scala语言起步的，基础语法、模式匹配那块讲得挺细。你要是之前对RDD、DataFrame这些东西理解不太透，这份习题的和案例会帮你串起来不少概念。