海量存储的批量计算框架

Source : mp.weixin.qq.com Author : 搜索内容存储团队

本文介绍了百度针对海量存储数据计算需求研发的HTAP表格存储系统及计算调度架构。项目背景源于原有存储系统难以满足日益增长的OLAP业务需求，因此构建了集OLTP与OLAP于一体的HTAP系统，通过存算分离、Serverless设计等创新点提升IO访问能力和资源利用率。同时，自研的计算与调度系统实现了任务开发的SQL化和数据处理的FaaS化，简化了业务使用成本，提高了开发效率。整体方案在存储成本、IO能力、IO放大率等方面取得显著成果，为海量存储数据的计算提供了高效、灵活的解决方案。