ELT in ByteHouse 实践与展望
Source :
mp.weixin.qq.com
Author :
王涛
谈到数据仓库， 一定离不开使用Extract-Transform-Load (ETL)或 Extract-Load-Transform (ELT)。将来源不同、格式各异的数据提取到数据仓库中，并进行处理加工。 传统的数据转换过程一般采用Extract-Transform-Load (ETL)来将业务数据转换为适合数仓的数据模型，然而，这依赖于独立于数仓外的ETL系统，因而维护成本较高。现在，以火山引擎ByteHouse为例的云原生数据仓库，凭借其强大的计算能力、可扩展性，开始全面支持Extract-Load-Transform (ELT)的能力，从而使用户免于维护多套异构系统。具体而言，用户可以将数据导入后，通过自定义的SQL语句，在ByteHouse内部进行数据转换，而无需依赖独立的ETL系统及资源。 火山引擎ByteHouse是一款基于开源ClickHouse推出的云原生数据仓库，本篇文章将介绍ByteHouse团队如何在ClickHouse的基础上，构建并优化ELT能力，具体包括四部分：ByteHouse在字节的应用、ByteHouse团队做ELT的初衷、ELT in Byt
