随着大语言模型的广泛应用,如何构建低成本高性能的推理服务,越来越成为业界关注的方向。RTP-LLM是阿里巴巴智能引擎团队推出的大模型推理加速引擎,已被广泛应用于阿里内部,积累了一定的实践经验,我们曾在《LLM推理加速:decode阶段的Attention在GPU上的优化》一文中分析了当前MMHA在GPU上的计算:
广义的容灾,可以认为是业务连续性计划当中的灾难恢复,即能够容忍灾难的能力,如何在灾难发生时,保证生产业务系统的不间断运行,需要我们健全快速容错/故障切换能力,即容灾能力,包含了常态化容灾建设以及针对能力进行的周期性演练验收。 今天,我将与大家分享字节跳动的容灾实践。大家对字节跳动的业务形态应该有所了解,在业务规模持续扩大和多样化部署模式下,字节跳动基础架构团队面临的容灾挑战是巨大的。因此今天的分享将分为三个主要部分:首先是基础演进路径,然后结合演进介绍容灾实践,最后我会简要说明容灾实施情况。
前段时间,张雪峰一句“文科都是服务业”再次引起了舆论上的“文理之争”,从专业课的质量不一到就业前景的不明朗,文科生承受着普遍的焦虑。而随着生成式AI在各领域的应用,也有一种声音认为,AI将在不久后取代一些文科生的就业机会,比如一些机构媒体设立了 AI编辑、AI记者;一些企业也尝试用AI取代原画师。 然而,以上两种假设反映了社会长久以来对文科的误解,也是近年来对AI的误解。AI在一定程度上打破了文理科生的技术壁垒,而过去一些 AI产品被诟病太“生硬”,更需要文科生的人文素养与情感关怀,比如对于聊天式AI语料库的筛选。纵观人类历史,技术一直在重塑我们对于学业和工作的理解, AI并非“洪水猛兽”,或许更应该思考是:如何运用 AI、如何打磨那些无法被AI取代的能力。 从被热议的“文理之争”出发,这期播客试图讨论在人工智能时代,文科何为?当一波技术浪潮袭来,如何应对AI焦虑并发现真实的需求?以及从知识生产的角度去来看,创造力将如何诞生于人与AI的交互中?
内存不是无限的,总有不够用的时候,linux内核用三个机制来处理这种情况:内存回收、内存规整、oom-kill。 当发现内存不足时,内核会先尝试内存回收,从一些进程手里拿回一些页;如果这样还是不能满足申请需求,则触发内存规整;再不行,则触发oom主动kill掉一个不太重要的进程,释放内存。
百度MEG的上一代大数据产品存在平台分散、质量不均和易用性差等问题,导致开发效率低下、学习成本高,业务需求响应迟缓。为了解决这些问题,百度MEG内部开发了图灵3.0生态系统。图灵3.0覆盖了数据全生命周期,包括Turing Data Engine (TDE) 计算引擎、Turing Data Studio (TDS) 数据开发治理平台和Turing Data Analysis (TDA) 可视化BI产品。 TDS作为图灵3.0的核心组件,专注于数据开发和治理。其架构涵盖了从基础设施到用户功能的各个层次,包括数据开发、数仓管理、监控运维和资源管理等模块,支持高效的任务调度、资源管理和数据血缘分析。 此外,TDS引入了智能化工具,如智能诊断和Text2SQL,帮助用户快速定位问题、生成SQL查询,降低了数据开发和查询的技术门槛。
在项目开发中,弹幕是一种非常流行的效果,它能够在屏幕上动态显示大量的文本信息,如评论、消息等。开始调研了一些知名的三方弹幕库,功能很强大,但是却不适合,因为项目中只需要一个简单的弹幕效果即可,这些库有点过重了,甚至有些库还要集成so,因为需要严格要求包体积大小,所以更难以集成了。之前做过图片瀑布流,突然想到能不能用类似的方案实现一个简单的弹幕效果。本文将介绍一种使用RecyclerView和StaggeredGridLayoutManager实现简单弹幕效果的方法。通过这种方式,可以实现弹幕的无限滚动和多行显示。
二维码(QR Code)在现代生活中有广泛应用,从支付系统到信息传递,它们无处不在。本文提出了一种如何识别二维码的方法,主要贡献在于优化处理分辨率较高的图像时,由于二维码在整张图片中占据的比例较小, 传统的OpenCV WeChat QRCode的识别方法表现不佳的问题。下面描述详细的优化过程。