实时消息处理

Storm 实时消息处理开发

知识准备： 分布式系统概念 Storm 架构和组件 代码编写： 创建 Spout 和 Bolt 定义数据流拓扑 程序发布： 本地模式和集群模式 故障处理和监控

Storm 4 2024-04-29

Storm实时流处理流程

Storm的工作流程可以概括为以下四个步骤： 用户将Topology提交到Storm集群。 Nimbus负责将任务分配给Supervisor，并将分配信息写入Zookeeper。 Supervisor从Zookeeper获取分配的任务，并启动Worker进程来处理任务。 Worker进程负责执行具体的任务。

Storm 3 2024-05-12

Storm组件-实时处理

Storm组件包含以下部分：Topology是storm中运行的一个实时应用程序。Nimbus负责资源分配和任务调度。Supervisor负责接受Nimbus分配的任务，启动和停止属于自己管理的worker进程。Worker运行具体处理组件逻辑的进程。Task是worker中每一个spout/bolt的线程。Spout在一个Topology中产生源数据流的组件。Bolt在一个Topology中接受数据然后执行处理的组件。Tuple是一次消息传递的基本单元。Stream grouping是消息的分组方法。

Storm 2 2024-07-12

实时处理技术综述

将分析实时处理技术在不同章节中的应用，涵盖了课程介绍、实时流处理初步认识、Flume分布式日志收集框架、Kafka分布式发布订阅消息系统等内容，同时探讨了Spark Streaming的入门、核心概念与编程、进阶与案例实战，以及其与Flume和Kafka的整合。

spark 0 2024-09-13

实时数据处理工具——Storm高效处理实时数据流

Storm，作为一种实时流处理框架，自2016年以来一直在业界广泛应用。其高效处理实时数据流的能力，使其成为许多大型数据处理系统的首选工具之一。

Storm 0 2024-08-21

Strom实时流处理框架应用

Strom 应用场景 电商领域* 实时推荐系统: 基于用户实时下单或加入购物车行为，推荐相关商品，提升用户体验和销售转化率。 网站分析* 流量统计: 实时监测网站流量变化，为运营决策提供数据支撑。 其他领域* 监控预警系统: 实时监控系统指标，及时发现异常并触发告警，保障系统稳定运行。* 金融系统: 实时处理交易数据，进行风险控制和欺诈检测。

Storm 6 2024-05-12

Strom实时流处理大数据框架

Strom组件Topology定义了一个实时应用程序在storm中的运行结构。Nimbus负责分配资源和调度任务，Supervisor负责管理worker进程的启动和停止。Worker是执行具体组件逻辑的进程，每个spout/bolt的线程称为一个task。Spout生成源数据流，Bolt接收并处理数据。Tuple是消息传递的基本单位。Stream grouping定义了消息的分组方法。

Storm 2 2024-07-24

Spark Streaming实时数据处理详解

Spark Streaming是Spark核心API之一，专注于支持高吞吐量和容错的实时流数据处理。随着数据技术的不断演进，它在实时数据处理领域展现出强大的能力和应用潜力。

spark 3 2024-07-13

Flume助力Spark Streaming实时数据处理

Flume结合Kafka和Spark Streaming，通过推拉模式高效地传输和处理实时数据。

Hadoop 3 2024-05-21

Flink 1.10.2实时大数据处理的利器

Apache Flink是一个流处理框架，以其高效、低延迟的实时数据处理能力在大数据领域广受欢迎。flink-1.10.2-bin-scala_2.12.tgz是针对Scala 2.12版本的Flink 1.10.2二进制发行版压缩包，包含了所有运行Flink所需的核心组件和工具。Flink支持流处理模型，通过DataStream API定义数据处理逻辑，并且能够无缝地处理批处理和流处理任务。它提供强大的状态管理机制，支持事件时间处理和多种连接器，如Kafka、HDFS等。Flink还引入了SQL支持，使得使用SQL查询数据流更加方便。

flink 1 2024-08-01