RTP-LLM 是阿里巴巴大模型预测团队开发的大模型推理加速引擎，作为一个高性能的大模型推理解决方案，它已被广泛应用于阿里内部。本文从对话接口的设计出发，介绍了业界常见方案，并分享了RTP-LLM团队在此场景下的思考与实践。
