大型语言模型（LLMs）正在重塑人工智能领域，使系统能够以极高的流畅度理解和生成人类语言。这些模型支持了从聊天机器人等对话代理到内容创作工具以及自动化数据分析等各种应用。LLMs 凭借其在多种语言任务上的高准确性，已成为许多现代 AI 应用的核心。 然而，在大规模部署 LLMs 时也面临一系列独特的挑战。当企业尝试将 LLMs 集成到生产环境中时，会遇到如管理多种模型、确保性能一致性以及控制成本等问题。尤其是在处理不同规模、架构和功能的模型时，这些复杂性让部署过程变得更加困难。 LLM Gateway 就是在这种背景下应运而生的。它作为一个集中式平台，简化并优化了 LLM 的集成、管理和部署流程。通过 LLM Gateway，开发者可以高效地协调 LLM 请求、在不同模型之间分配流量，并实时监控性能——这一切都集中在一个平台上。通过解决操作复杂性，Gateway 使开发者能够专注于构建和扩展 AI 应用，而不被技术挑战拖累。 在这篇博客中，我们将探讨 LLM Gateway 的概念、为什么 AI 开发者需要它，以及它如何简化大规模部署 LLMs 的过程。
在犹他州盐湖城举办的北美Kubecon大会上，云原生计算基金会（CNCF®）于2024年11月14日发布了2024年最新的CNCF技术景观雷达报告。该报告深入评估了生态系统中多集群应用管理以及批处理、AI和ML计算技术的生产就绪状态。 CNCF技术景观雷达通过调查300多名使用云原生技术的专业开发者以及CNCF最终用户社区的成员，收集了他们在多集群应用管理以及批处理、AI和ML技术方面的实际使用经验。这些反馈代表了云原生最终用户最关心的实际问题。 报告根据各项技术的生产使用准备情况进行评估，并将它们分为四个类别：采用、试验、评估和保留。其中，“采用”类别包括成熟度最高、用户广泛认可的技术。特别值得注意的是，批处理、AI和大数据领域的相关项目，Apache Airflow、CNCF的CubeFS、Kubeflow和Fluid，这四个技术因其在基于Kubernetes的云原生AI体系中的应用而备受关注，成为业界技术选择的风向标。
在本文中，我将详细解析四种主要的服务网格数据平面部署模式，包括 Sidecar 模式、Ambient 模式、Cilium mesh 模式和 gRPC 模式。通过对这些模式的架构、性能、安全性、管理复杂性和资源成本的分析，提供选择建议，帮助你在不同的应用场景中做出最优决策。无论你是追求高性能、低资源消耗，还是需要更高的安全保障，本指南都能帮助你找到合适的部署模式。
Envoy Gateway（本文中简称 EG）在7月23日发布了最新的 1.1.0 版本¹。1.1.0 版本是 EG 在 1.0.0 GA （General Availability）版本后的第一个功能更新版本，包含了多个新特性和改进。本文将为大家介绍其中最重要的几个新特性。
Apache SkyWalking 团队今天宣布发布 SkyWalking 10。SkyWalking 10 提供了一系列突破性的功能和增强功能。Layer 和 Service Hierarchy 的引入通过将服务和指标组织成不同的层次，并提供跨层无缝导航，从而简化了监控。利用 eBPF 技术，Kubernetes 网络监控提供了对网络流量、拓扑和 TCP/HTTP 指标的详细洞察。BanyanDB 作为高性能的原生存储解决方案出现，同时扩展的监控支持包括 Apache RocketMQ、ClickHouse 和 Apache ActiveMQ Classic。对多标签名称的支持增强了指标分析的灵活性，而增强的导出和查询功能简化了数据分发和处理。 本文简要介绍了这些新功能和增强功能以及其他一些值得注意的变化。
