STA操作流程SQL执行流程及优化策略

执行流程操作符设置流程

9、观察执行状态连接线为绿色：任务已完成。其中包含从lk01到lk02的数据转换情况，如图中lk01的43行转换为lk02的7行。连接线为蓝色：任务进行中。连接线为红色：执行失败。连接线颜色反映了任务的执行状态。

SQL语句的执行过程如下图所示，详细列出了每个阶段处理和运行SQL语句所需的关键步骤。在某些情况下，Oracle执行SQL的顺序可能与下面列出的阶段顺序不同，比如DEFINE阶段可能在FETCH阶段之前，这取决于代码编写方式。

表的主要连接方法 排序合并连接 (Sort Merge Join, SMJ)适用于大型数据集，先对两个表排序后进行合并操作。 嵌套循环连接 (Nested Loops, NL)使用索引在一个表中查找匹配行，适合小型表与索引列。 哈希连接 (Hash Join, HJ)通过哈希算法连接较大的无序表。 笛卡儿乘积 (Cartesian Product)通常用于测试或无连接条件时产生，资源消耗较大。 SQL执行过程中的关键运算符 sort：排序操作，如order by和group by。排序会消耗大量资源，需谨慎使用。 filter：用于过滤数据，如not in或min函数等。过滤可以消除分区，但某些情况会增加查询复杂度。 view：内联视图会直接从派生视图中选择数据。当视图无法合并至主查询时，则作为投影视图。 示例SQL： EXPLAIN PLAN FOR SELECT ename, tot FROM emp, (SELECT empno, SUM(empno) tot FROM big_emp GROUP BY empno) tmp WHERE emp.empno = tmp.empno;

MySQL的执行流程如下：1. 客户端向服务器端发送SQL命令。2. 服务器端连接模块连接并验证。3. 缓存模块解析SQL为Hash并与缓存中Hash表对应。如果有结果直接返回结果，如果没有对应继续向下执行。4. 解析器解析SQL为解析树，如果出现错误，报SQL解析错误。如果正确，向下传递，解析时主要检查SQL中关键字，检查关键字是否正确、顺序是否正确、引号是否对应等。5. 预处理器对解析树继续处理，处理成新的解析树，检查表是否存在、列是否存在、名字和别名是否有歧义等。6. 优化器根据开销自动选择最优执行计划，生成执行计划。7. 执行器执行执行计划，访问存储引擎接口。8. 存储引擎访问物理文件并返回结果。9. 如果开启缓存，缓存管理器把结果放入查询缓存中。10. 返回结果给客户端。

作业种类 不同的作业种类对应着不同的DS操作流程。

下载并编辑Excel模板，上传后自动将数据存入数据库。

PL/SQL程序的执行部分从BEGIN开始，以END结束，每个执行语句以分号(;)结尾。在SQL Plus中执行PL/SQL程序块时，可使用/提交程序块。执行部分包括赋值、流程控制、SQL和游标语句。

azkaban：可视化工作流编排工具 清晰展现任务节点，揭示执行顺序 构建完整流程控制图，一目了然 无缝衔接Hive等工具，协同增效