在阿里工作时,使用Blink进行流数据处理和计算,通过编写SQL实现计算任务,开发简单高效,用户友好。目前正在探索将Flink产品化,与Blink类似,采用SQL作为统一的开发规范。SQL语言具有声明性强、易理解、稳定可靠、自动优化等优点。相比使用API开发,SQL可以自动进行调优,避免了依赖程序员经验的问题,同时减少了对数据安全和集群安全的侵入。实现思路为用户输入SQL(DDL、查询、DML),DDL对应于Flink的源和接收器(sink),查询和DML通过insert into进行数据处理和计算,最终封装成对应的Flink Job:env.sqlQuery/env.sqlUpdate。