GPU 云服务器的软件系统设计和实践

Source : mp.weixin.qq.com Author : 百度Geek说

当我们在云上部署 DeepSeek 系列大模型的时候，可以选择多机或者单机 8 卡的 GPU 裸金属实例运行满血版，或者选择单卡和双卡 GPU 虚拟机运行蒸馏版。这些 GPU 云服务器实例能否发挥多机、多卡、单卡的性能，将直接影响部署的 DeepSeek 服务的吞吐能力。除此之外，在训练场景中这些实例的相关能力能将直接影响训练时长。本文将针对 GPU 云服务器的软件系统设计和实现进行概述，并分享百度智能云的最新实践成果。