B站基于 Flink 的海量用户行为实时 ETL 应用实践
Source :
mp.weixin.qq.com
Author :
朱正军
在数仓分层架构体系中，从 ODS层到 DWD层数据转换需要进行数据清洗、脱敏、列式压缩等步骤。在B站用户行为埋点数据 ODS到 DWD层转换过程中，为了解决日增千亿条、20+TB/天增量规模下数据重复摄取带来的资源严重消耗的问题，引入了北极星（B站用户埋点行为分析链路）分流，按照部门进行分表。在埋点设计中使用spmid模型，将事件类型拆分为浏览 pv、曝光 show、点击 click等多个事件类型，并以这些事件类型作为除天、小时分区以外的第三级分区，再以事件类型产品来源作为四级分区。通过基于部门业务区分按照埋点事件类型+产品来源以多表多分区控制的形式，最大程度降低下游任务文件数据摄取数量以减少资源消耗。
