如何设计一个海量任务调度系统
Source :
mp.weixin.qq.com
Author :
timgc
在日常开发中会经常遇到一些需要异步定时执行的业务诉求，典型的使用场景如：超时未支付订单关单、每隔 2h 更新好友排行榜、3.22 日 17 点《xx》剧上线等。目前业务侧多基于以下思路来快速搭建一个调度系统，mysql 或者 redis 队列存储待执行任务，通过 crontab 定时触发应用完成“捞取、计算、执行等操作”。不难看出存在几类亟待解决问题： 1）缺少统一的调度平台导致各业务重复开发； 2）简易版调度实现在任务吞吐、调度时效上缺少保障； 3）业务和调度数据强耦合存储给线上稳定性引入大 key、慢 sql 风险。 目前存在多类开源解决方案如 XXL-Job 、 Elastic-Job、quartz 调度等，但这些都属于进程级调度平台，很难满足更细粒度的业务调用。基于上述的业务诉求和司内现状，我们准备搭建一套通用的分布式任务调度平台（以下统称为 tjobs 平台）以满足业务高可靠、低延迟的海量任务调度诉求。
