最新实例
Flink 1.10.2 Scala 2.12 预编译二进制包
该资源为基于 CDH 6.3.2 和 Scala 2.12 编译的 Flink 1.10.2 源码包,可用于制作 parcels 部署至阿里云集群。
flink
2
2024-06-11
Dinky 0.7.3 版本发布: 面向 Flink 平台的在线开发工具
Dinky 0.7.3 版本发布,该版本专注于为 Apache Flink 平台提供更完善的在线开发体验。
flink
3
2024-06-11
互联网企业Flink应用案例分析
深入分析了国内互联网巨头如美团、唯品会、滴滴、360等企业如何利用 Flink 解决实际业务问题,并对 Flink 的应用场景和实践经验进行了总结,为其他企业应用 Flink 提供借鉴。
flink
3
2024-06-11
Flink 在大数据实时处理中的应用
Flink 作为一个高吞吐量、低延迟的流式处理引擎,在大数据实时处理领域得到广泛应用。其基于数据流的计算模型能够有效处理无界数据流,并提供精确一次的语义保证。Flink 支持多种时间语义,包括事件时间、处理时间和摄取时间,使得开发者能够灵活地处理各种实时数据处理场景,例如实时数据分析、实时报表生成、复杂事件处理等。
flink
2
2024-06-08
基于 Flink + ClickHouse + Drools 的动态规则实时智能营销系统
本项目分享一套基于 Flink 1.12.0 版本的动态规则实时智能营销系统视频教程,并提供配套课件与源码。系统整合了 Flink、ClickHouse 和 Drools 等技术,实现了高效的实时数据处理和规则引擎驱动的精准营销。
flink
4
2024-06-06
Apache Flink 1.13.6 二进制发行版(Scala 2.11)
Apache Flink 1.13.6 二进制发行版(Scala 2.11)
flink
2
2024-06-06
Flink CDC MongoDB 连接器: 原理与应用
深入探讨 Flink CDC MongoDB 连接器的实现原理,并结合实际案例阐述其使用方法。
一、 原理剖析
Flink CDC MongoDB 连接器基于 MongoDB 的 Change Streams 特性实现数据捕获。连接器模拟 MongoDB 客户端,订阅目标集合的变更流,并将捕获的变更事件转换为 Flink 可处理的数据流。
关键机制:
变更流监听: 连接器持续监听 MongoDB 集合的变更流,实时获取插入、更新、删除等操作对应的变更事件。
事件解析与转换: 连接器解析捕获的变更事件,将其转换为包含操作类型、变更数据等信息的结构化数据。
Flink 集成: 连接器将转换后的数据流传输至 Flink,供后续处理和分析。
二、 应用实践
场景示例: 实时同步 MongoDB 数据至 Elasticsearch,构建实时数据分析平台。
步骤概述:
引入依赖: 在 Flink 项目中添加 Flink CDC MongoDB 连接器依赖。
配置连接器: 配置 MongoDB 连接信息、目标集合、数据类型映射等参数。
定义数据流: 使用 Flink API 创建数据流,并使用连接器读取 MongoDB 变更数据。
数据处理与写入: 对读取的数据流进行清洗、转换等操作,并将结果写入 Elasticsearch。
三、 总结
Flink CDC MongoDB 连接器为实时捕获和处理 MongoDB 数据提供了高效便捷的解决方案。通过理解其工作原理和掌握基本使用方法,开发者可以轻松构建实时数据管道,满足多样化的数据处理需求。
flink
2
2024-06-04
大型离线数仓与用户画像系统设计与实践
课程提供大型离线数仓与用户画像系统设计与实践相关内容,包含19天视频内容,提供源码和相关文档下载。
flink
2
2024-05-31
Apache Flink 1.14.4 (Scala 2.12)
该资源为 Apache Flink 1.14.4 版本的安装包,编译时使用 Scala 2.12。
flink
2
2024-05-30
JobGraph生成机制解析
Flink 在生成 StreamGraph 后,会根据其生成 JobGraph,并将其发送至服务器端进行 ExecutionGraph 的解析。
JobGraph 的生成入口方法为 StreamingJobGraphGenerator.createJobGraph()。
源码解析:
设置启动模式: 将启动模式设置为所有节点在开始时立即启动 (ScheduleMode.EAGER)。
生成节点哈希 ID: 为每个节点生成唯一的哈希 ID,用于区分节点。
生成兼容性哈希: 为兼容性考虑,创建额外的哈希值。
生成 JobVertex 并进行链式连接: 遍历所有节点,如果是链的头节点,则生成一个 JobVertex;如果不是头节点,则将自身配置并入头节点,并将头节点与其出边相连。
设置输入边: 为 JobVertex 设置输入边,定义数据流方向。
设置 Slot 共享组: 为 JobVertex 设置 Slot 共享组,优化资源利用。
flink
6
2024-05-27