百度百舸 AIAK-LLM 的大模型训练和推理加速实践

Source : mp.weixin.qq.com Author : LSY

本文整理自 4 月 16 日的 2024 百度 Create 大会的公开课分享《百舸 AIAK-LLM：大模型训练和推理加速实践》。今天要分享的主题是 AI Infra 相关的内容，主要内容分为四部分。首先和大家一起讨论大模型给基础设施带来的挑战。第二部分则是向大家介绍一个大模型训练和推理过程中的关键性能指标 MFU，以及为了提升这个 MFU 业界已经做的一些技术和手段。第三部分则是从百度百舸 AIAK-LLM 实际落地过程中遇到的一些问题出发，通过解决这些问题我们将大模型训练和推理的 MFU 提升到了一个非常好的状态。最后一部分则是从产品维度简单介绍下相关能力和理念。