JobGraph构建过程解析
JobGraph的创建流程
Flink在StreamGraph的基础上生成JobGraph,并将其发送到服务器端进行ExecutionGraph解析。
JobGraph生成步骤:
入口方法:StreamingJobGraphGenerator.createJobGraph()
设置启动模式:默认使用ScheduleMode.EAGER模式,所有节点同时启动。
生成节点哈希ID:使用StreamGraphHasher为每个节点生成唯一哈希ID。
处理节点链(Operator Chains):
遍历节点,识别出每个链的头节点。
将非头节点的配置合并到头节点,并将头节点与自身的出边连接。
无法进行链式操作的节点将被视为独立的JobVertex。
设置物理边(Edges):定义节点间的数据传输关系。
配置Slot共享组:优化资源分配,允许任务共享Slot。
核心方法解析:
setChaining(): 负责处理节点链,将连续操作合并为单个JobVertex,以提高执行效率。
setPhysicalEdges(): 建立节点之间的连接,定义数据流向。
setSlotSharingGroup(): 配置Slot共享,实现资源优化。
通过以上步骤,Flink将逻辑执行计划转换为JobGraph,为后续的作业执行做好准备。
flink
3
2024-04-28
oracle 数据库精选资料
Oracle 数据库权威教程
Oracle 实战项目案例
Oracle
3
2024-05-26
精选成语数据库
为您提供无重复的30976条成语,涵盖范围广泛,内容包括成语汉字、拼音、解释、出处和例句,方便您学习和查阅。数据库已按成语汉字排序,方便查找。
Access
4
2024-05-28
33语音皮肤
33款皮肤独特的语音模块,为你的游戏角色增添个性色彩。
Memcached
5
2024-05-12
Oracle数据库SQL技巧精选
程序员可以利用Oracle数据库中的特殊字符来精确匹配不同的文本格式,如换页符、换行符和制表符等。
Oracle
3
2024-07-19
数据库习题及答案精选
这里汇总了一些关于数据库的习题及其详细答案,适合希望加深对数据库理解的学习者。每道题目都附带了清晰的解析,帮助读者更好地掌握相关知识。
MySQL
1
2024-08-01
SQL数据库常用指令精选
数据库操作日常常需要用到多种指令,以下是40条常用的SQL语句集合。
SQLServer
0
2024-08-04
HABBS数据库构建
HABBS数据库的设计是一个重要的工程,涉及到数据的整合与管理。通过精心设计和优化,可以确保数据库的高效性和可靠性。
SQLServer
2
2024-07-22