HDFS EC在B站的实践
Source :
mp.weixin.qq.com
Author :
陈世云
随着B站业务的高速发展，业务产生的数据每天以PB级的速度持续增长，之前主要应对方法是分析数据的使用频率，把数据分为热冷俩类数据，对冷数据进行高密存储来降低存储成本，以及对部分非核心的冷数据进行数据周期管理。随着体量的增大，即使TTL机制的运行，冷数据的存储量也越来越多，这部分数据长时间未有访问，但仍然具有一定的价值，不能随意清理，且占总体数据量的30%以上，现有的高密存储机制虽然能一定程度上降低存储成本，但是为了进一步的降本增效，我们计划用技术手段进一步节省存储成本。 目前社区针对降低存储容量的手段主要就是EC策略，我们为此推动了HDFS EC在B站存储上进行实践。
