大模型推理主战场：什么才是通信协议标配？
Source :
mp.weixin.qq.com
Author :
望宸
DeepSeek 加速了模型平权，随之而来的是大模型推理需求的激增，大模型性能提升的主战场从训练转移到了推理。推理并发的提升，将催生计算、存储、网络、中间件、数据库等领域新的工程化需求。 本文将分享 SSE 和 WebSocket 这两个大模型应用的标配网络通信协议，一起重新认识下这两位新时代里的老朋友。 目录： SSE 和 WebSocket 是什么？ 大模型应用出现前的主流网络通信协议是什么？ 为什么大模型应用没有沿用 Web 类应用的主流通信协议？ 为什么 SSE 和 WebSocket 更适合支持大模型应用？ 实时通信协议的技术挑战和应对方案 What's Next？
