人物 | 魏竹斌：58同城深度学习推理平台基于Istio的云原生网关实践
出处：
mp.weixin.qq.com
作者：
魏竹斌
深度学习推理平台在架构上属于WPAI的子平台，旨在将算法人员使用深度学习框架训练出来的模型部署到生产环境，提供高性能、高可用的在线推理服务。总体架构如下图所示，底层依托于Kubernetes和Docker，实现了对GPU/CPU等资源的统一调度和管理，网关侧搭配Istio实现了推理服务发现和流量治理功能；算法层集成了TensorFlow、PyTorch和PaddlePaddle等优秀的深度学习框架，同时也支持用户自定义服务；应用层从模型管理、部署、推理加速和服务高可用保障等方向都提供了一系列功能。支撑了58同城在图像、NLP、语音、搜索、推荐、广告、风控领域内的各类AI应用，目前已上线模型数1000+，峰值节点数4000+，日均流量30亿。本文主要介绍深度学习推理平台推理架构的演进过程，以及新架构下在流量治理建设和可观测性建设方面的设计细节。
