深入解析 Gateway API Inference Extension（推理扩展）
出处：
mp.weixin.qq.com
在 Kubernetes 上运行 AI 推理工作负载具有一些独特的特点和挑战，Gateway API Inference Extension 项目旨在解决其中的一些问题。我最近在 kgateway 项目[1] 中写过关于这些新能力的文章，而本文将深入讲解其工作原理。大多数人将 Kubernetes 中的请求路由理解为基于 Gateway API、Ingress 或 Service Mesh（统称为 L7 路由器）的机制。这些实现的原理类似：你定义一些根据请求属性（如 header、path 等）进行匹配的路由规则，L7 路由器会基于这些规则决定请求应发送到哪个后端，并使用某种负载均衡算法（如 轮询、最少请求、环哈希、区域感知、优先级[2] 等）。
