NameNode锁细粒度优化在B站的实践
Source :
mp.weixin.qq.com
Author :
大数据
随着业务的高速发展，针对HDFS元数据的访问请求量呈指数级上升。在之前的工作中，我们已经通过引入HDFS Federation和Router机制实现NameNode的平行扩容，在一定程度上满足了元数据的扩容需求；也通过引入Observer NameNode读写分离架构提升单组NameSpace的读写能力，在一定程度上减缓了读写压力。但随着业务场景的发展变化，NameSpace数量也在上升至30+组后，Active+Standby+Observer NameNode 的架构已经无法满足所有的元数据读写场景，我们必须考虑提升NameNode读写能力，来应对不断上升的元数据读写要求。 如图1-1 所展示的B站离线存储整体架构所示，随着业务的不断增量发展，通过引入HDFS Router机制实现NameNode的平行扩容，目前NameSpace的数量已经超过30+组，总存储量EB级，每日请求访问量超过200亿次。各个NameSpace之间的读写请求更是分布非常不均衡，在一些特殊场景下，部分NameSpace的整体负载更高。
