B站KAFKA探索与实践

Source : mp.weixin.qq.com Author : 张辰安&刘博为

Kafka 是我们公司各个部门的重要数据中间件，主要用于上报、暂存和分发各种数据。我们不仅支持大数据场景，同时也保障在线场景的稳定性。我们拥有1000+台Kafka机器，组成了20多个集群，针对不同业务场景配置了不同规格的机器，磁盘类型包括HDD，SSD和NVME。每日PB级输入，输出数十PB，肩负着公司数据传输的重任。随着集群规模的扩张，我们也遇到了越来越多的挑战。