数据工程领域当前遇到的挑战
Source :
mp.weixin.qq.com
Author :
张志豪
现代系统正变得越来越复杂，从单线程到多线程，从单体到微服务，从单节点到分布式，从本地到云端... … 复杂度使得程序产生预期的结果需要越来越多的必要条件，而每种条件都有其自身的成功概率，即使每种条件的成功概率都很高，根据墨菲定律，或早或晚一定会遇到不可预知的结果。 在数据工程领域，这个问题尤其突出，目前大数据领域几乎都是分布式运行的任务、高可用的消息队列、多备份的存储、主从节点等等。在这样的情况下，如何构建稳定、健壮的任务或服务成为了一个挑战。而数据工程实践中每日调度的任务成为了与各个复杂数据组件交互的最主要形式，所以本文我们将以数据工程的任务调度为例，利用混沌工程帮助我们找出系统薄弱点或脆弱性，引出我们沉淀的基于日志驱动的任务调度实践。
