数据库顶会 VLDB 2024 论文解读｜ResLake: 字节跳动多机房资源统一管理系统解析

在字节跳动，每天有数百万的大数据作业在其全球的数十个数据中心运行。由于作业计算和存储资源的不匹配，存在将跨机房带宽用尽的风险，这会影响其他业务的运作，还会造成不同机房的资源负载不均衡。而且跨机房带宽存在成本高、延迟高、稳定性差等问题，会大幅增加作业的运行时长。为兼顾作业完成时间（Job Completion Time, JCT），并均衡不同机房之间资源的负载，字节跳动基础架构计算团队、存储团队、应用研究中心，和系统部网络团队协作，共同研发了多机房计算、存储、网络一体化资源管理系统 ResLake。ResLake 具备资源的全局视角，通过作业调度、数据调度、网络管控等手段，能够显著优化计算和存储的布局，有效降低业务运营成本。ResLake 上线后，作业平均 JCT（最小化用户作业完成时间） 时间降低了 20%，机房间资源利用率均衡性提升了 53%，跨机房流量降低了 50%，存储成本降低了 46%。

View 33 Technology lddgo Shared on 2024-09-03