全球推荐系统领域顶级会议ACM RecSys于9月18-22日在新加坡举行。东北大学与腾讯微信看一看团队针对推荐系统中用户留存优化的最新研究论文“Interpretable User Retention Modeling in Recommendation” 获得大会最佳短文奖(Best Short Paper Award)。该论文由入选2022犀牛鸟精英人才计划的丁蕊同学在学界导师杨晓春教授和微信看一看谢若冰高级研究员的联合培养下主要完成。
擅长 OLAP 分析的 ClickHouse 不仅可以用于 vector search,还可承担起整条 embedding 的加工处理工作,All in one Pipeline 也让速度远超传统批处理框架数倍;检索性能虽无法与专业 sim 检索服务相媲美,但因“搜索分析一体化”,让它在 AI 近线处理占据一席之地。 本文工作由 vcc、 levi、 longpo、 zifei、 luis 等人协同完成
ITIL 是一套 ITSM 最佳实践体系,能够提高 IT 部门用户满意度和运行效率。它提供了针对 IT 活动的实践,可以被组织应用于战略、价值交付和能力维持。它允许组织建立一个基线,用于计划、实施和测量,证明合规性和衡量改进。虽然 ITIL 建立了 ITSM 的“游戏规则”,但它只告诉你最好做什么事,具体落地层面的流程实践需要根据不同的组织进行定制化和优化。 本系列 IT 运维服务管理的文章,基于我们过去在不同项目背景下总结出来的实践经验,具有运维服务管理落地指导性质。它为项目稳定运营提供奠项目运维开展计划的基础,为进一步的工程实践和持续优化奠定良好的基础,同时可以帮助运维项目中的人员完善和提升项目运维过程中的服务管理能力。 本系列文章的主题包括运维安全管理、事件管理、变更管理、应急预案、自动化效率化运维。本文为第一篇:运维中的安全管理。 在企业的 IT 服务运维管理中,安全管理是一个非常重要的问题。在产品运维过程中,不仅需要管理、维护和监控 IT 系统的可靠性,同时系统的安全性也是非常重要的。当谈到运维安全管理时,我们最容易想到的是保护敏感信息和数据安全。
阿里巴巴智能引擎事业部自研的 Khronos 系统是阿里内部接入规模最大的性能数据存储引擎。Khronos 支持动态生命周期的存储计算分离架构,采用 schemaless 的 data model 设计,在万亿数据规模下为业务提供易用、高效、经济的服务,团队近期的优化工作也被国际学术会议CIKM2023收录。本⽂总结了Khronos 在性能监控领域遇到的技术挑战,以及在这个场景下的一些价值判断。
性能优化是个恒久的话题,随着产品的演进,业务的增长,系统能力总有达到瓶颈的一天,它不可或缺的陪伴着我们走向壮大再走向衰败,是我们面临的不可回避的问题。下图1展示了风控系统近半年来承载流量的增长趋势,可见最近半年来流量高速增长,且对于可预见的未来而言,接入流量还会持续高增。伴随着流量的增长,系统各方面--存储、计算、IO等都表现出一定的瓶颈,通过原始简单的水平扩容并不能解决所有的问题,而且还会带来成本的上升。因此,我们近期对系统进行了一系列优化改造, 目的是满足未来一段时间内业务的增长使用,降低接口的耗时满足某些延时敏感型业务的需要,同时也伴随着一定的IT成本优化。本文结合常见的性能优化手段(预取、批量、异步、压缩、缓存),及在风控系统中的实践进行总结,希望能给读者对于性能优化实践带来一些参考。
当涉及到企业分析场景时,所使用的数据通常源自多样的业务数据,这些数据系统大多采用以行为主的存储结构,比如支付交易记录、用户购买行为、传感器报警等。在数仓及分析领域,海量数据则主要采按列的方式储存。因此,将数据从行级转换成列级存储是建立企业数仓的基础能力。 传统方式是采用Extract-Transform-Load (ETL)来将业务数据转换为适合数仓的数据模型,然而,这依赖于独立于数仓外的ETL系统,因而维护成本较高。但随着云计算时代的到来,云数据仓库具备更强扩展性和计算能力,也要求改变传统的ELT流程。 火山引擎ByteHouse是一款基于开源ClickHouse推出的云原生数据仓库,为用户提供极速分析体验,能够支撑实时数据分析和海量数据离线分析,同时还具备便捷的弹性扩缩容能力,极致分析性能和丰富的企业级特性。凭借其强大的计算能力,可以全面支持Extract-Load-Transform (ELT)的能力,从而使用户免于维护多套异构系统。
火山引擎ByteHouse 是一款基于开源 ClickHouse 推出的云原生数据仓库,本篇文章将介绍 ByteHouse 团队如何在 ClickHouse 的基础上,构建并优化 ELT 能力,具体包括四部分: ByteHouse 在字节的应用 ByteHouse 团队做 ELT 的初衷 ELT in ByteHouse 实现方案及未来规划。