spark-streaming

Spark-Streaming数据流处理技术

当前已经探讨了机器学习和批处理模式下的数据挖掘。现在转向处理流数据，实时探测其中的事实和模式，如河流般快速变化的动态环境带来挑战。首先列出了流处理的先决条件，例如与Twitter的TCPSockets集成，然后结合Spark、Kafka和Flume构建低延迟、高吞吐量、可扩展的处理流水线。重点介绍了初始的数据密集型应用架构，并指出了Spark Streaming在整体架构中的关键位置，包括Spark SQL和Spark MLlib模块。数据流可以包括股票市场的时序分析、企业交易等。

数据挖掘 0 2024-10-12

全面Spark零基础思维导图（包括spark-core、spark-streaming、spark-sql）

这份思维导图详尽总结了Spark的核心概念，涵盖了spark-core、spark-streaming和spark-sql，适合零基础学习者。Spark在大数据处理中具有重要意义。

spark 0 2024-09-19

Spark Streaming 与 Structured Streaming 解析

深入探讨 Spark Streaming 和 Structured Streaming，剖析其模块构成与代码逻辑，助你透彻理解实时数据处理的原理与应用。

spark 4 2024-05-14

Spark & Spark Streaming 实战学习

深入掌握 Spark 和 Spark Streaming 技术 课程资料囊括代码示例和环境配置指导。 授课内容基于经典案例，助您构建扎实的理论基础与实战经验。 欢迎共同探讨学习心得，交流技术问题。

spark 6 2024-04-30

Spark Streaming技术介绍

Spark Streaming技术是基于Spark平台的流数据处理解决方案，能够实时处理大规模数据流并提供高效的数据分析和处理能力。

spark 4 2024-07-13

Spark 程序与 Spark Streaming 的区别

Spark 程序适用于对静态的历史数据进行一次性处理，它利用单个 Spark 应用实例完成计算。 Spark Streaming 则用于处理连续不断的实时数据流，它将数据流分割成多个批次，并利用一组 Spark 应用实例进行并行处理。

spark 2 2024-05-15

Spark Streaming 2.3.0 中文详解

全面解析 Spark Streaming 2.3.0 API、知识点和案例，助您轻松掌握流处理技术。

spark 2 2024-05-12

Spark Streaming 与 Kafka 集成 JAR 包

提供 Spark Streaming 与 Kafka 集成所需要的 JAR 包： spark-streaming-kafka-0-8_2.11-2.4.0.jar

spark 7 2024-05-13

Flume与Spark Streaming集成资源包

Flume与Spark Streaming集成资源包 本资源包包含Flume与Spark Streaming集成所需的必要文件： Spark Streaming整合Flume所需安装包 Spark Streaming拉取Flume数据的flume配置文件(.conf) Flume向Spark Streaming推数据的flume配置文件(.conf)

spark 2 2024-05-15

Flume与Spark Streaming的集成实现

在这个压缩包中包含了用于实现Flume监控文件夹中内容变化的关键组件：commons-lang3-3.3.2.jar、spark-streaming-flume_2.10-1.6.0.jar以及scala-compiler-2.10.5.jar。接着，Spark Streaming利用这些组件对数据进行实时分析。

spark 1 2024-08-03