torchserve在转转GPU推理架构中的实践
Source :
mp.weixin.qq.com
Author :
杨训政
转转面向二手电商业务，在搜索推荐、智能质检、智能客服等场景落地了AI技术。在实践的过程中，也发现了存在GPU执行优化不充分，浪费计算资源，增加应用成本等问题。 此外还存在线上线下处理逻辑需要分别开发的情况，造成额外的开发成本和错误排查成本，对一些需要高速迭代的业务场景的负面影响不可忽视。本文将会重点介绍基于Torchserve进行推理服务部署架构优化的工程实践，希望对面临类似问题的同学们有所帮助。
