百度搜索的RLHF性能优化实践
出处：
mp.weixin.qq.com
作者：
frd
本文大语言模型在未经标注的大量文本上进行预训练后，可能产生包含偏见、泄露隐私甚至对人类构成威胁的内容。OpenAI 最先提出了基于人类反馈的强化学习算法(Reinforcement Learning fromHuman Feedback, RLHF)，将人类偏好引入到大模型的对齐过程中，从而让大语言模型能够生成符合人类预期的输出。笔者长期在搜索领域应用大模型提升搜索质量，发现RLHF在搜索结果的相关性、准确性和无害性等方面均有显著的提升，同时也观察到由于RLHF 流程相比预训练以及SFT更加复杂，导致在训练效率上，其系统吞吐率远低于预训练或者SFT，这严重制约了 RLHF 的应用与发展。当前业界和学界在预训练阶段和推理部署阶段的性能优化进展非常丰富，但在强化学习尤其是RLHF性能优化的公开资料较少。我们注意到，RLHF 和预训练共享大多数分布式训练技术，因此在优化手段上，RLHF 既要吸收预训练的方法，也要结合自身的特点做针对性地优化。
