字节跳动正式开源分布式训练调度框架 Primus
Source :
mp.weixin.qq.com
Author :
Primus 开源团队
随着机器学习的发展，模型及训练模型所需的数据量越来越大，也都趋向于通过分布式训练实现。而算法工程师通常需要对这些分布式框架涉及到的底层文件存储和调度系统有较深的理解，才能够快速批量开启模型训练，保证资源利用率。 目前业界有很多类似的框架，如 TonY、TensorFlowOnSpark，Kubeflow 中的 Training Operators 等，但这些框架或多或少存在某些问题，如与固定的机器学习框架（ Tensorflow，Pytorch ）耦合需要写明例如 PS、Worker 等角色，容错和弹性调度支持不友好，不支持异构调度，调度语义较为简单，不支持文件读取等。 将算法工程师从此类繁重的底层细节中解脱出来、更多地关注到算法层面，即为 Primus 解决的问题。
