设计一个海量的任务调度系统

Source : mp.weixin.qq.com Author : 腾讯技术工程

今天跟大家分享鹅厂开发工程师如何搭建一套通用的分布式任务调度平台（统称为 tjobs 平台）以满足业务高可靠、低延迟的海量任务调度诉求。 tjobs 作为一个高性能、低延迟的分布式任务调度平台，在满足通用的任务注册、查询、触发等基本功能同时，也通过可伸缩的架构、HA能力、体系化可用性建设保障系统在百亿任务量、百万TPM触发能力下系统可用性、延迟、触达率SLA保障。支持将任务划分到不同的分片分配到不同的应用机器上执行，既保留了高峰时百万TPM的触发能力、也支持低峰时合并部署以节省成本；通过任务前置使用定时任务扫描、内存时间轮保证任务及时触发，保证了任务执行的低延迟；通过主备热活、自动failover能力建设保证系统整体从存储层到应用的全栈高可用。