随着大语言模型（Large Language Models，LLMs）在各领域的广泛应用，如何以低成本构建高吞吐、低延迟的推理服务成为了一个紧迫的问题。考虑到LLM在GPU上推理时参数量和计算量较大以致于单流执行就可以充分利用GPU资源，我们可以把LLM的推理延时分解到kernel level，因此，进一步的，不考虑时间占比小的kernel计算后，LLM的延时优化也就相应的分解成GEMM和Attention的kernel优化。 RTP-LLM是阿里巴巴智能引擎团队开发的大模型推理加速引擎，作为一个高性能的大模型推理解决方案，它已被广泛应用于阿里内部。在这篇文章里，我们将基于RTP-LLM的实践，介绍decode阶段的Attention在GPU上是如何优化的。
视频转码是将视频文件经过解封装、解码、滤镜处理、编码、封装从而转换为另一个视频文件的过程，B站每天都有大量的视频原片上传后经过转码系统转换为多个不同分辨率。转换后的视频在画质接近原片的前提下会拥有更低的码率，因此会提高网络传输时的流畅性并节省带宽；同时，形形色色的视频原片经过转码后会生成为较为统一、规范的编码规格，也大幅提升了播放时的设备兼容性。 目前业界使用最多的服务端视频转码框架是FFmpeg，它可以处理几乎所有格式的多媒体文件。FFmpeg的转码核心组件是实现了封装/解封装、编解码、滤镜、算法原子能力的基础库，同时，FFmpeg也提供了可以直接运行的命令行工具ffmpeg，实现了简单的转码流水线逻辑。
无论是语速超快、发音复杂的绕口令，还是精妙绝伦的文言文，又或是充满即兴和灵感的随意聊天，模型都能流畅自然地给出准确而地道的翻译结果。
B端前端交互领域是处于视觉设计师、产品和前端之间的交叉地带，而交互领域有以下特点： 业务影响低：对业务功能影响不大，即业务功能完整性不会因为交互的好坏受影响 量化难：难以被量化，因此无法准确体现其好坏的价值所在 方向散：比较细碎和散落，比较难以被统一和规范，没有具体优化方向 ROI低：B端的使用量一般也不大，如果投入较大精力在交互上，其产出也比较有限 而在客服作业场景上，存在每人使用频次高、持续时间久、总量大等显著特性。以得物客服工单工作台为例，长期UV和PV在高位使用，任何一个简单的交互的使用量都非常大，仅切换到工单工作台这个页面的交互使用量就达到百万级别。 因此，交互量化、实践及优化指引就有被探究的前提，以助力B端体验、操作作业效率的提升。
本文将会极致贯彻实用主义，介绍一些可以直接上手用的 TypeScript 技巧，新手友好，不需要了解背后的原理与规则（但也提供了简单介绍），只要对着特定场景套公式就好了，就让我们把事情变得再简单一些吧！
