RTP-LLM 是阿里巴巴大模型预测团队开发的大模型推理加速引擎，作为一个高性能的大模型推理解决方案，它已被广泛应用于阿里内部。该引擎与当前广泛使用的多种主流模型兼容，并通过采用高性能的 CUDA 算子来实现了如 PagedAttention 和 Continuous Batching 等多项优化措施。RTP-LLM 还支持包括多模态、LoRA、P-Tuning、以及 WeightOnly 动态量化等先进功能。 随着大模型的广泛应用，如何降低推理延迟并优化成本已成为业界关注的焦点。我们不断地在这一领域内探索和挖掘新方法。在本文中，我们将详细介绍两种在业务中实践的优化策略：多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现，并分享一些实现时的关键技巧。
随着应用组件的可观测性逐渐受到重视，Apache APISIX 引入插件机制丰富了可观测数据源。然而，这些数据分散在多个平台，形成了数据孤岛。本文旨在阐述如何利用 DeepFlow 基于 eBPF 的零侵扰特性构建 APISIX 可观测性解决方案，在此基础上统一集成 APISIX 插件已有的丰富数据源，消除孤岛、构建统一的可观测性平台，以全面监控和分析 APISIX 网关。通过 DeepFlow，APISIX 可以实现从流量监控、追踪分析、到性能优化的全面可观测性，消除数据分散并提供中心化的监控视图，加速故障排查和性能调优，让 DevOps 和 SRE 团队的工作更加高效。本文将重点梳理 APISIX 的追踪数据、指标数据、访日日志及性能剖析数据如何对接 DeepFlow。
捏脸玩法是装扮类应用的一个核心功能。本文主要介绍了捏脸的AI相关玩法之一即基于用户上传的照片在淘宝人生2（又名：第二人生）一键生成专属3D数字人，阐述了淘天FC淘宝人生技术团队在图片捏脸上探索的心路历程，核心原理以及技术框架。本文的视角也不局限于图片捏脸本身，也介绍了其他AI类相关玩法在装扮类应用落地的情况，希望能对大家有所启发和帮助。
9 月 26-28 日，由 Linux 基金会、CNCF 主办的 KubeCon + CloudNativeCon + Open Source Summit China 2023 在上海举办。作为社区积极贡献者和最终用户，字节跳动和火山引擎团队在此次大会上进行了 7 个分享，本系列内容根据此次会议分享整理而成，欢迎关注！ 本文将分享火山引擎容器服务 VKE 作为云上 Kubernetes 平台，在帮助客户实现集群资源弹性过程中的一些经历和挑战
对技术人来说，面试成功的道路只有一条，就是好好准备技术基础。本文是面试系列文章架构设计篇，作者把自己的八股文和一些经验总结汇总在一起，供大家参考。
vivo微服务平台为全球5亿+用户背后的全网十万级机器、万级微服务提供服务，在高效实践过程中，vivo中间件平台团队输出了一套业务适用的微服务架构最佳实践--架构能力矩阵、高效的开源中间件组件全生命周期管理策略，走出了一条从开源到开源+自研的技术演进路径，通过微服务引擎升级和统一平台建设较好解决了面临的问题与挑战。
后端项目如果用到分布式缓存的话，一般用的都是 Redis。不过，Redis 不仅仅能做缓存，还能用作分布式锁、延时队列、限流等等。 这篇文章总结分享了 7 道 Redis 最基础性的问题，不涉及 Redis 数据类型、持久化、线程模型、性能优化等进阶内容，大家可以用来自测一下自己对于 Redis 基础知识的了解。
