蚂蚁实时计算团队的AntFlink提交攻坚之路

Source : mp.weixin.qq.com Author : 刘勇(勇恩)

Blink提交采用进程模型（包装flink info/run命令）进行作业执行计划的生成和作业的提交，这个基本是大数据计算引擎jstorm/spark/flink的共识，采用该方式的优点在于：简单：用户只需在自己的jar包中进行逻辑处理引擎client负责以方法调用形式调用用户main方法，然后编译、提交干净进程模型用户包用完销毁，引擎版本包通过目录隔离，不用考虑多版本问题。但这也带来了缺点，每次都得走一遍大量class 加载、校验等jvm启动全流程。同时，大多数作业的的执行计划生成耗时是在20秒以内，也就是说此时瓶颈不在编译阶段，此时jvm启动开销就成为了瓶颈。尤其当这些操作极其高频时，带来的开销不容小视。