RTP-LLM是阿里巴巴智能引擎团队推出的大模型推理框架，支持了包括淘宝、天猫、闲鱼、菜鸟、高德、饿了么、AE、Lazada 等多个业务的大模型推理场景。RTP-LLM与当前广泛使用的多种主流模型兼容，使用高性能的 CUDA kernel, 包括 PagedAttention、FlashAttention、FlashDecoding 等，支持多模态、LoRA、P-Tuning、以及WeightOnly 动态量化等先进功能，已在众多LLM场景中得到实际应用与检验。 本篇文章介绍了RTP-LLM的整体架构，并着重分析了模型加载过程中的核心部分：模型的权重和配置文件。本文主要由社区用户mingming贡献，特此感谢其对项目的支持。
前不久，我因为运动时的姿势不对，导致右腿骨折，喜提三个月的居家修养。按照作家刘震云的说法，这叫做着正确的事情，却迈着不正确的步伐。于是乎，我的活动空间骤减，每日除了短暂地楼下放风，便是卧坐于方寸之间。周遭静下来，许多回忆便涌了上来。 从 2008 年开始，我陆陆续续参与了多个 DevOps 系统的建设，如今，审视这些系统的建设初衷和它们的设计思路或遇到的问题，依然有不少借鉴意义。我会按照时间顺序，把每个 DevOps 系统的特点，诞生的背景，以及在当时所主要解决的问题做一个概要的介绍，同时，我们也会以今天的视角再次审视这些问题，来看下同样的问题，经过十几年的发展，解决方案上有哪些不同。
在数字化时代背景下，电商平台不断拓展其触达用户的边界，而“每日必抢小程序”正是这一趋势下的产物。本文深度剖析了这款小程序如何在支付宝、夸克等非淘宝App端为用户提供近似淘宝App的购物体验，通过整合营销、搜索、交易等核心电商能力，实现在多平台的无缝衔接。
“用户在浏览器地址输入 URL 之后发生了什么？” 这个问题对于我们前端开发者来说简直是典中典了，是前端基础，也是工作面试八股，更是性能优化依据。但本文想分享的重点不是之后发生了什么，而是之前发生了什么，即我们平时码出来的代码经历了哪些步骤处理，成为互联网用户能打开浏览的页面的？我们又是如何合理的更新网页的？ 前一个问题涉及开发与部署，后一个问题涉及发布。下面我将会从网页入口、开发、部署与发布这4方面逐步展开分享。
随着AI技术的发展，AI应用和相关的生态也在不断地蓬勃发展，孵化这些AI应用的平台也在这几年也逐渐成熟。大模型应用开发平台像是淘金者必不可少的铲子一样，成为很多云平台厂商和互联网公司必不可少的平台与工具。 提起大模型流程编排或者大模型应用开发平台，让人最多想起来的最多的是一直火热的LangChain，随着LangChain生态的不断繁荣，也诞生了Flowise这种开源三方可视化编排工具。除了工具外，还有产品化程度非常高的Dify等。今天让我们一起逐个看看这些开源产品的应用和优势吧。
本文关于如何将非结构化数据（如PDF和Word文档）转换为结构化数据，以便于RAG（Retrieval-Augmented Generation）系统使用。
