• 文库
  • 字符
  • 转换
  • 加密
  • 网络
  • 更多
    图表
    数学
    坐标
    图片
    文件
  • 文库
    字符
    转换
    加密
    网络
    更多
    图表
    数学
    坐标
    图片
    文件
logo 在线工具大全

微尘之患:探寻小文件问题的原理与对策

出处: mp.weixin.qq.com 作者: 施德伟

在大数据处理和存储中,"小文件" 通常是指文件大小远小于HDFS(分布式文件系统)中块(block)大小的文件。一般公司集群的block大小在128MB/256MB这二者的居多,因此,公司对小文件的大小没有一个统一的定义,通常小的不足1MB,大的甚至达到32MB或更大。

查看原文 67 技术 lddgo 分享于 2024-12-10