【AI问爱答】第六期 | 模型训练如何受GPU影响？GPU的高效利用何以实现？

28 技术 lddgo 分享于 2024-09-13

本文介绍了LangChain框架，它能够将大型语言模型与其他计算或知识来源相结合，从而实现功能更加强大的应用。接着，对LangChain的关键概念进行了详细说明，并基于该框架进行了一些案例尝试，旨在帮助读者更轻松地理解LangChain的工作原理。

25 技术 lddgo 分享于 2024-09-12

本文详细阐述了如何通过二级缓存架构设计提升高并发下的系统性能。

39 技术 lddgo 分享于 2024-09-11

本文记述了一次由 skb（socket buffer）异常导致的内核故障排查过程。

29 技术 lddgo 分享于 2024-09-10

本文记录作者升级到 JDK 11 后遇到的 FastJSON 序列化问题，以及详细的排查过程。

36 技术 lddgo 分享于 2024-09-09

随着大语言模型的广泛应用，如何构建低成本高性能的推理服务，越来越成为业界关注的方向。RTP-LLM是阿里巴巴智能引擎团队推出的大模型推理加速引擎，已被广泛应用于阿里内部，积累了一定的实践经验，我们曾在《LLM推理加速：decode阶段的Attention在GPU上的优化》一文中分析了当前MMHA在GPU上的计算：

26 技术 lddgo 分享于 2024-09-09

本文主要介绍了 AI Agent 的背景，概念，探讨了 AI Agent 网关插件的使用方法，效果以及实现原理。

29 技术 lddgo 分享于 2024-09-06

我们在外滩大会开源了一个小猫咪项目—— Peter Cat

38 技术 lddgo 分享于 2024-09-06

在计算机科学领域，尤其是在现代软件开发中，高并发处理能力是衡量技术架构性能的关键指标之一。Go语言，以其简洁的语法和内置的协程支持，为开发者提供了一套高效且易于使用的并发编程模型。本文深入剖析了Go语言协程的原理与其实现机制——GMP模型，揭示了这一模型如何巧妙地结合用户级线程与轻量级调度，以应对现代网络服务的高并发挑战。对于希望深入了解Go并发机制，或是寻求提升系统并发性能的开发者而言，本文提供了丰富的理论基础与实践洞见。

25 技术 lddgo 分享于 2024-09-06

本文阐述了阿里云表格存储（Tablestore）如何通过其向量检索服务应对大规模数据检索的需求，尤其是在成本、规模和召回率这三个关键挑战方面。

29 技术 lddgo 分享于 2024-09-05