基于 Ray 的大规模离线推理

Source : mp.weixin.qq.com Author : 王万兴

大模型离线推理（Batch 推理）是指在具有数十亿至数千亿参数的大规模模型上进行分布式计算推理的过程，具有如下特点：一次对一批数据进行推理，数据量通常是海量的，所以计算过程通常是离线计算；推理作业执行过程一般同时包含数据处理及模型推理；作业规模通常较大，采用分布式计算，消耗大量计算资源；相比于在线推理，离线推理对延迟的要求并不高，主要关注吞吐和资源利用率。