更加灵活、经济、高效的训练 — 新一代搜推广稀疏大模型训练范式GBA

近日，阿里巴巴在国际顶级机器学习会议NeurIPS 2022上发表了新的自研训练模式 Gloabl Batch gradients Aggregation（GBA，论文链接：https://arxiv.org/abs/2205.11048），由阿里妈妈事业部搜索广告团队和智能引擎事业部XDL训练引擎团队联合探索和研发。GBA的提出对阿里巴巴搜推广稀疏模型的训练范式带来了架构性的跨越式升级。本文将从GBA的设计思路、收敛性分析及工程实现等方面展开介绍，欢迎阅读交流。 在过去一段时间内，高性能同步训练架构在阿里巴巴稀疏场景的全面落地，解决了稀疏场景无法充分利用GPU，以及缺乏高效的同步训练方案两个“硬骨头”。从资源性能角度，使得不同场景的深度学习任务训练加速比（每天训练样本日期数量）提高5～10倍，并利用GPU带来3～5倍的成本优势，节省训练开销可达每年千万量级；从业务效果角度，同步训练模式优化给部分广告业务带来了CTR指标百分位的提升。在这个时间点，GBA通过对同步和异步训练自由切换的技术突破，使得低配集群的资源也充分利用起来。GBA算法使得高性能资源和普通资源具有通用性

View 70 Technology lddgo Shared on 2022-12-22