干货 | 携程酒店基于血缘元数据的数据流程优化实践
Source :
mp.weixin.qq.com
Author :
九号
元数据MetaData狭义的解释是用来描述数据的数据，广义的来看，除了业务逻辑直接读写处理的那些业务数据，所有其它用来维持整个系统运转所需的信息／数据都可以叫作元数据。比如数据表格的Schema信息，任务的血缘关系，用户和脚本／任务的权限映射关系信息等等。 在数据仓库的建设质量的评估中，一个必不可少的评价指标就是数据产出的及时性，特别是对于P0级别的流程，及时性指标的好坏一方面决定了下游应用方能否准时地获取所需的业务指标，直接影响到业务的工作效率；另一方面也反映了相应指标的数据架构的合理程度。 数据及时性，顾名思义就是测试数据需要按时产出。及时性重点关注的三个要素是：定时调度时间、数据任务优先级以及数据产出deadline。其中任务的优先级决定了它获取数据计算资源的多少，影响了任务执行时长。数据deadline则是数据最晚产出时间的统一标准，需要严格遵守。这三要素中，属于业内统一认知且在质量保障阶段需要重点关注的是：数据deadline，这也是我们优化数据流程产出的最终评判标准。
