去年之前，阿里巴巴的淘天集团测试环境是以领域方式运作：不局限测试环境治理本身，从测试模式方法论及用好测试环境思路引领集团测试环境治理。领域运作最难的是“统一思想”。业务进一步细分调整后，测试环境治理策略理应由业务方自行决策，领域尽可能多的提供更好用的工具产品供业务方使用。 测试环境产品得很稳定，让用户相信环境是可靠的，其次环境部署需要高效，二者缺一不可。下面从这两个方面做一下阐述。
踩内存问题分析成本较高，尤其是低概率问题困难更大。本文详细分析并还原了两个由于动态库全局符号介入机制（it's a feature, not a bug）触发的踩内存案例。
去年之前，阿里巴巴的淘天集团测试环境是以领域方式运作：不局限测试环境治理本身，从测试模式方法论及用好测试环境思路引领集团测试环境治理。领域运作最难的是“统一思想”。业务进一步细分调整后，测试环境治理策略理应由业务方自行决策，领域尽可能多的提供更好用的工具产品供业务方使用。 测试环境产品得很稳定，让用户相信环境是可靠的，其次环境部署需要高效，二者缺一不可。下面从这两个方面做一下阐述。
随着大语言模型（Large Language Models，LLMs）在各领域的广泛应用，如何以低成本构建高吞吐、低延迟的推理服务成为了一个紧迫的问题。考虑到LLM在GPU上推理时参数量和计算量较大以致于单流执行就可以充分利用GPU资源，我们可以把LLM的推理延时分解到kernel level，因此，进一步的，不考虑时间占比小的kernel计算后，LLM的延时优化也就相应的分解成GEMM和Attention的kernel优化。 RTP-LLM是阿里巴巴智能引擎团队开发的大模型推理加速引擎，作为一个高性能的大模型推理解决方案，它已被广泛应用于阿里内部。在这篇文章里，我们将基于RTP-LLM的实践，介绍decode阶段的Attention在GPU上是如何优化的。
