去年之前,阿里巴巴的淘天集团测试环境是以领域方式运作:不局限测试环境治理本身,从测试模式方法论及用好测试环境思路引领集团测试环境治理。领域运作最难的是“统一思想”。业务进一步细分调整后,测试环境治理策略理应由业务方自行决策,领域尽可能多的提供更好用的工具产品供业务方使用。 测试环境产品得很稳定,让用户相信环境是可靠的,其次环境部署需要高效,二者缺一不可。下面从这两个方面做一下阐述。
从十几个模块到上千个微服务,百度如何构建业界最复杂的微服务系统?Jarvis平台,十年磨一剑,集服务治理、配置管理、链路追踪于一体,打造云原生控制中心。Jarvis2.0,多运行时架构的先驱,实现微服务治理的全新突破。节省耗时、提升效率,Jarvis2.0在60+产品线中部署4w+实例,节省人力与资源。技术爱好者,点击深入了解,一探究竟!
资损防控是业务稳定性保障的重要一环,资损防控的核心主要有三点:事前规避、事中发现和事后应急。在资损事前规避方面,商家业务从业务场景入手,进行各业务模块的资损场景的梳理,将最容易出现资损的场景梳理出来。但是这些资损场景的梳理是依赖人去梳理,非常依赖梳理者的个人经验和对业务、链路、系统架构的熟悉程度,这样的梳理方式一定会存在资损场景被遗漏的情况。我们希望能够在人为梳理的基础之上增加系统自动识别能力来对资损场景进行补齐。 因此,希望通过分析测试环境数据库写操作涉及的字段和数据,得到所有字段后,通过AI大模型判断字段是否存在资损风险的方式进行预标记,研发测试进行二次打标并和已有资损场景、资损字段结合,形成业务域资损字段,进而结合公司资损管理平台,精准测试平台能力建立一套基于资损字段->资损方法->调用接口->资损场景->资损布防->布防演练为一体的链路级资损防控方案,提升整体资损场景覆盖度,降低资损风险。
随着大语言模型(Large Language Models,LLMs)在各领域的广泛应用,如何以低成本构建高吞吐、低延迟的推理服务成为了一个紧迫的问题。考虑到LLM在GPU上推理时参数量和计算量较大以致于单流执行就可以充分利用GPU资源,我们可以把LLM的推理延时分解到kernel level,因此,进一步的,不考虑时间占比小的kernel计算后,LLM的延时优化也就相应的分解成GEMM和Attention的kernel优化。 RTP-LLM是阿里巴巴智能引擎团队开发的大模型推理加速引擎,作为一个高性能的大模型推理解决方案,它已被广泛应用于阿里内部。在这篇文章里,我们将基于RTP-LLM的实践,介绍decode阶段的Attention在GPU上是如何优化的。
视频转码是将视频文件经过解封装、解码、滤镜处理、编码、封装从而转换为另一个视频文件的过程,B站每天都有大量的视频原片上传后经过转码系统转换为多个不同分辨率。转换后的视频在画质接近原片的前提下会拥有更低的码率,因此会提高网络传输时的流畅性并节省带宽;同时,形形色色的视频原片经过转码后会生成为较为统一、规范的编码规格,也大幅提升了播放时的设备兼容性。 目前业界使用最多的服务端视频转码框架是FFmpeg,它可以处理几乎所有格式的多媒体文件。FFmpeg的转码核心组件是实现了封装/解封装、编解码、滤镜、算法原子能力的基础库,同时,FFmpeg也提供了可以直接运行的命令行工具ffmpeg,实现了简单的转码流水线逻辑。
无论是语速超快、发音复杂的绕口令,还是精妙绝伦的文言文,又或是充满即兴和灵感的随意聊天,模型都能流畅自然地给出准确而地道的翻译结果。