DeepSeek R1模型权重原生为FP8类型，仅能被英伟达新型GPU支持。美团技术团队进行了INT8精度量化的尝试，量化后模型精度基本无损，可部署到A100等其他型号GPU，从而解锁了芯片限制；相比BF16实现了50%的吞吐提升，降低了推理成本。
57
技术
lddgo
分享于
2025-03-06
