GPU 云服务器的软件系统设计和实践
出处：
mp.weixin.qq.com
作者：
百度Geek说
当我们在云上部署 DeepSeek 系列大模型的时候，可以选择多机或者单机 8 卡的 GPU 裸金属实例运行满血版，或者选择单卡和双卡 GPU 虚拟机运行蒸馏版。
这些 GPU 云服务器实例能否发挥多机、多卡、单卡的性能，将直接影响部署的 DeepSeek 服务的吞吐能力。除此之外，在训练场景中这些实例的相关能力能将直接影响训练时长。
本文将针对 GPU 云服务器的软件系统设计和实现进行概述，并分享百度智能云的最新实践成果。
查看原文
55
技术
lddgo
分享于
2025-03-05
