本文介绍了LangChain框架，它能够将大型语言模型与其他计算或知识来源相结合，从而实现功能更加强大的应用。接着，对LangChain的关键概念进行了详细说明，并基于该框架进行了一些案例尝试，旨在帮助读者更轻松地理解LangChain的工作原理。

236 技术 lddgo 分享于 2024-09-12

本文详细阐述了如何通过二级缓存架构设计提升高并发下的系统性能。

226 技术 lddgo 分享于 2024-09-11

本文记述了一次由 skb（socket buffer）异常导致的内核故障排查过程。

275 技术 lddgo 分享于 2024-09-10

本文记录作者升级到 JDK 11 后遇到的 FastJSON 序列化问题，以及详细的排查过程。

708 技术 lddgo 分享于 2024-09-09

随着大语言模型的广泛应用，如何构建低成本高性能的推理服务，越来越成为业界关注的方向。RTP-LLM是阿里巴巴智能引擎团队推出的大模型推理加速引擎，已被广泛应用于阿里内部，积累了一定的实践经验，我们曾在《LLM推理加速：decode阶段的Attention在GPU上的优化》一文中分析了当前MMHA在GPU上的计算：

243 技术 lddgo 分享于 2024-09-09

本文主要介绍了 AI Agent 的背景，概念，探讨了 AI Agent 网关插件的使用方法，效果以及实现原理。

214 技术 lddgo 分享于 2024-09-06

我们在外滩大会开源了一个小猫咪项目—— Peter Cat

292 技术 lddgo 分享于 2024-09-06

在计算机科学领域，尤其是在现代软件开发中，高并发处理能力是衡量技术架构性能的关键指标之一。Go语言，以其简洁的语法和内置的协程支持，为开发者提供了一套高效且易于使用的并发编程模型。本文深入剖析了Go语言协程的原理与其实现机制——GMP模型，揭示了这一模型如何巧妙地结合用户级线程与轻量级调度，以应对现代网络服务的高并发挑战。对于希望深入了解Go并发机制，或是寻求提升系统并发性能的开发者而言，本文提供了丰富的理论基础与实践洞见。

304 技术 lddgo 分享于 2024-09-06

本文阐述了阿里云表格存储（Tablestore）如何通过其向量检索服务应对大规模数据检索的需求，尤其是在成本、规模和召回率这三个关键挑战方面。

285 技术 lddgo 分享于 2024-09-05

RTP-LLM是阿里巴巴智能引擎团队推出的大模型推理框架，支持了包括淘宝、天猫、闲鱼、菜鸟、高德、饿了么、AE、Lazada 等多个业务的大模型推理场景。RTP-LLM与当前广泛使用的多种主流模型兼容，使用高性能的 CUDA kernel, 包括 PagedAttention、FlashAttention、FlashDecoding 等，支持多模态、LoRA、P-Tuning、以及WeightOnly 动态量化等先进功能，已在众多LLM场景中得到实际应用与检验。 本篇文章介绍了RTP-LLM的整体架构，并着重分析了模型加载过程中的核心部分：模型的权重和配置文件。本文主要由社区用户mingming贡献，特此感谢其对项目的支持。

279 技术 lddgo 分享于 2024-09-04