58大数据团队在计算方面的在离线混部项目已经取得了很好的效果,后续规划将大数据组件与云技术进行逐步的融合,同时在过去几年,58大数据团队已经实施了很多高效的降本增效策略(数据EC、高效压缩、治理优化等等),也取得了不错的成果,2024上半年考虑结合云技术对HBase集群进行云化改造,进一步降低业务成本,减少运营维护成本。
生命中有价值的洞见,通常很简单,比如这期杂志的封面主题:不内卷。 内卷并不是一个新词,它最早由美国人类学家亚历山大·亚历山德罗维奇·戈登威泽提出,用以描述某一类文化模式到了某种最终的形态以后,既没有办法稳定下来,也没有办法使自己转变到新的形态,取而代之的是不断地在内部变得更加复杂。后来,内卷化概念又被引入到学者们对二十世纪印度尼西亚爪哇岛农业和中国华北的研究之中,简单来说,内卷就是无效地投入、没有发展的增长。 一个人类学名词,兜兜转转几经流转,最终被中国当代打工人借用来描述身处的职场环境。在经历上一轮信息技术革命对生活和工作节奏的超级加速后,技术的承诺显然部分落空了,于是很多人甚至不再相信,这一波人工智能技术能够让工作变得轻松,他们更愿意相信,有了这神一般技术,日后只怕会更加忙忙碌碌,内卷卷到飞起。OpenAI最近宣布要从非营利组织转变为商业公司,也部分印证了这种担忧。
去年之前,阿里巴巴的淘天集团测试环境是以领域方式运作:不局限测试环境治理本身,从测试模式方法论及用好测试环境思路引领集团测试环境治理。领域运作最难的是“统一思想”。业务进一步细分调整后,测试环境治理策略理应由业务方自行决策,领域尽可能多的提供更好用的工具产品供业务方使用。 测试环境产品得很稳定,让用户相信环境是可靠的,其次环境部署需要高效,二者缺一不可。下面从这两个方面做一下阐述。
从十几个模块到上千个微服务,百度如何构建业界最复杂的微服务系统?Jarvis平台,十年磨一剑,集服务治理、配置管理、链路追踪于一体,打造云原生控制中心。Jarvis2.0,多运行时架构的先驱,实现微服务治理的全新突破。节省耗时、提升效率,Jarvis2.0在60+产品线中部署4w+实例,节省人力与资源。技术爱好者,点击深入了解,一探究竟!
资损防控是业务稳定性保障的重要一环,资损防控的核心主要有三点:事前规避、事中发现和事后应急。在资损事前规避方面,商家业务从业务场景入手,进行各业务模块的资损场景的梳理,将最容易出现资损的场景梳理出来。但是这些资损场景的梳理是依赖人去梳理,非常依赖梳理者的个人经验和对业务、链路、系统架构的熟悉程度,这样的梳理方式一定会存在资损场景被遗漏的情况。我们希望能够在人为梳理的基础之上增加系统自动识别能力来对资损场景进行补齐。 因此,希望通过分析测试环境数据库写操作涉及的字段和数据,得到所有字段后,通过AI大模型判断字段是否存在资损风险的方式进行预标记,研发测试进行二次打标并和已有资损场景、资损字段结合,形成业务域资损字段,进而结合公司资损管理平台,精准测试平台能力建立一套基于资损字段->资损方法->调用接口->资损场景->资损布防->布防演练为一体的链路级资损防控方案,提升整体资损场景覆盖度,降低资损风险。
随着大语言模型(Large Language Models,LLMs)在各领域的广泛应用,如何以低成本构建高吞吐、低延迟的推理服务成为了一个紧迫的问题。考虑到LLM在GPU上推理时参数量和计算量较大以致于单流执行就可以充分利用GPU资源,我们可以把LLM的推理延时分解到kernel level,因此,进一步的,不考虑时间占比小的kernel计算后,LLM的延时优化也就相应的分解成GEMM和Attention的kernel优化。 RTP-LLM是阿里巴巴智能引擎团队开发的大模型推理加速引擎,作为一个高性能的大模型推理解决方案,它已被广泛应用于阿里内部。在这篇文章里,我们将基于RTP-LLM的实践,介绍decode阶段的Attention在GPU上是如何优化的。