大象在云端起舞：后 Hadoop 时代的字节跳动云原生计算平台——云原生计算团队采访

技术永远是在“更新”或“替换”中得到发展。 在大数据行业里，2006 年 Hadoop 的诞生，给我们带来了变革意义的改变，大数据生态组件也开始层出不穷。各种不同体型的企业都喜欢选择开源大数据软件来搭建自己的系统，无论是先前十分繁荣的 Hadoop，还是后来涌现出来的 Kafka、Flink 等，都被广泛地使用着。 十多年来，这些系统经历了多轮技术洗礼，我们也随之需要根据新的技术潮流不断地进行调整甚至做技术转型。以 Hadoop 三大组件来说，计算引擎 MapReduce 基本被 Spark 取代。在数据上云的时代，对象存储也取代了一部分 HDFS 文件系统。近几年，云原生又火了起来，行业里再次开始了对大数据体系的云原生改造，同时 K8s 的流行，也让同为资源管理的 YARN 地位越来越尴尬。 然而，过去的技术体系在很多企业系统里仍发挥着很重要的作用，在技术更新迭代的时候，业务不能随意变动，那么我们在新旧技术共存的条件下，如何发挥新技术的最大潜力？

View 59 Technology lddgo Shared on 2022-12-01