本文记述了一次由 skb（socket buffer）异常导致的内核故障排查过程。

27 Technology lddgo Shared on 2024-09-10

本文记录作者升级到 JDK 11 后遇到的 FastJSON 序列化问题，以及详细的排查过程。

36 Technology lddgo Shared on 2024-09-09

随着大语言模型的广泛应用，如何构建低成本高性能的推理服务，越来越成为业界关注的方向。RTP-LLM是阿里巴巴智能引擎团队推出的大模型推理加速引擎，已被广泛应用于阿里内部，积累了一定的实践经验，我们曾在《LLM推理加速：decode阶段的Attention在GPU上的优化》一文中分析了当前MMHA在GPU上的计算：

26 Technology lddgo Shared on 2024-09-09

本文主要介绍了 AI Agent 的背景，概念，探讨了 AI Agent 网关插件的使用方法，效果以及实现原理。

29 Technology lddgo Shared on 2024-09-06

我们在外滩大会开源了一个小猫咪项目—— Peter Cat

38 Technology lddgo Shared on 2024-09-06

在计算机科学领域，尤其是在现代软件开发中，高并发处理能力是衡量技术架构性能的关键指标之一。Go语言，以其简洁的语法和内置的协程支持，为开发者提供了一套高效且易于使用的并发编程模型。本文深入剖析了Go语言协程的原理与其实现机制——GMP模型，揭示了这一模型如何巧妙地结合用户级线程与轻量级调度，以应对现代网络服务的高并发挑战。对于希望深入了解Go并发机制，或是寻求提升系统并发性能的开发者而言，本文提供了丰富的理论基础与实践洞见。

25 Technology lddgo Shared on 2024-09-06

本文阐述了阿里云表格存储（Tablestore）如何通过其向量检索服务应对大规模数据检索的需求，尤其是在成本、规模和召回率这三个关键挑战方面。

29 Technology lddgo Shared on 2024-09-05

RTP-LLM是阿里巴巴智能引擎团队推出的大模型推理框架，支持了包括淘宝、天猫、闲鱼、菜鸟、高德、饿了么、AE、Lazada 等多个业务的大模型推理场景。RTP-LLM与当前广泛使用的多种主流模型兼容，使用高性能的 CUDA kernel, 包括 PagedAttention、FlashAttention、FlashDecoding 等，支持多模态、LoRA、P-Tuning、以及WeightOnly 动态量化等先进功能，已在众多LLM场景中得到实际应用与检验。 本篇文章介绍了RTP-LLM的整体架构，并着重分析了模型加载过程中的核心部分：模型的权重和配置文件。本文主要由社区用户mingming贡献，特此感谢其对项目的支持。

41 Technology lddgo Shared on 2024-09-04

前不久，我因为运动时的姿势不对，导致右腿骨折，喜提三个月的居家修养。按照作家刘震云的说法，这叫做着正确的事情，却迈着不正确的步伐。于是乎，我的活动空间骤减，每日除了短暂地楼下放风，便是卧坐于方寸之间。周遭静下来，许多回忆便涌了上来。 从 2008 年开始，我陆陆续续参与了多个 DevOps 系统的建设，如今，审视这些系统的建设初衷和它们的设计思路或遇到的问题，依然有不少借鉴意义。我会按照时间顺序，把每个 DevOps 系统的特点，诞生的背景，以及在当时所主要解决的问题做一个概要的介绍，同时，我们也会以今天的视角再次审视这些问题，来看下同样的问题，经过十几年的发展，解决方案上有哪些不同。

33 Technology lddgo Shared on 2024-09-04

本文结合了作者自身碰到的场景来说明如何做好组件设计和封装。

33 Technology lddgo Shared on 2024-09-04