鹅厂发布的这个算力集群，最快4天训练万亿参数大模型
Source :
mp.weixin.qq.com
Author :
腾讯云
大模型要成功，算力是关键。 这是腾讯云面向大模型训练场景，发布的全新一代的HCC高性能计算集群性能参数： “算力性能和上一代相比提升3倍，服务器接入带宽从1.6T提升到3.2T。” 采用最新一代腾讯云星星海自研服务器，并搭载NVIDIA H800 Tensor Core GPU的这代HCC高性能集群，单GPU卡支持输出最高1979 TFlops的算力。 具体强在哪里？ 去年10月，腾讯完成首个万亿参数的AI大模型——混元NLP大模型训练。在同等数据集下，将训练时间由50天缩短到11天。如果基于新一代集群，训练时间将进一步缩短至4天。
