metricserver2 (以下简称Agent)是与字节内场时序数据库 ByteTSD 配套使用的用户指标打点 Agent,用于在物理机粒度收集用户的指标打点数据,在字节内几乎所有的服务节点上均有部署集成,装机量达到百万以上。此外Agent需要负责打点数据的解析、聚合、压缩、协议转换和发送,属于CPU和Mem密集的服务。两者结合,使得Agent在监控全链路服务成本中占比达到70%以上,对Agent进行性能优化,降本增效是刻不容缓的命题。本文将介绍我们在Agent性能优化上的探索和实践。
ByConity 是由字节跳动开源的云原生数仓,采用了存储计算分离的架构,支持主流的 OLAP 引擎优化技术,实现了租户资源隔离、弹性扩缩容,并具有数据读写的强一致性等特性。「基于共享存储的选主方式」作为 ByConity 的重要功能,本文将详细介绍它基于存算分离架构的设计思考及实践。
本文从抖音集团内部画质优化方案的孵化历程着笔,主要分享了画质优化对于业务的价值、主要应用场景和内部产品的一些典型实践案例。通过分享业务视角遇到的一些问题和我们的解决思路,希望能抛砖引玉,为遇到类似困扰的伙伴们提供有价值的参考。 为何我们要不断优化画质体验? 在内容丰富、质量不断提升的数字娱乐时代,用户拥有更多的选择权,而优质的画质体验是平台赢得用户青睐的关键之一。高质量画质是区分产品优劣、提高市场竞争力的利器,提供优质的画质体验是内容和服务提供商不可或缺的使命。 我们通过线上业务大量实验发现,图片画质优劣对点击率、停留时长等消费类指标有正相关影响,间接影响用户收益指标。例如,低质图像会极大影响创作者的创作热情和终端用户的浏览体验,进而降低用户活跃度及粘性。因此,针对不同图片画质水平进行定向优化,保障用户的画质体验是非常有必要性的。
本篇文章来源于ByteHouse产品专家在火山引擎数智平台(VeDI)主办的“数智化转型背景下的火山引擎大数据技术揭秘”线下Meet up的演讲,将从ByteHouse数据库架构演进、增强HaKafka引擎实现方案、增强Materialzed MySQL实现方案、案例实践和未来展望四个部分展开分享。
向量检索被广泛使用于以图搜图、内容推荐以及大模型推理等场景。随着业务升级与 AI 技术的广泛使用,用户期望处理的向量数据规模越来越大,对向量数据库产品的稳定性、易用性与性能需求也越来越高。为此火山引擎 ByteHouse 团队基于社区 ClickHouse 进行技术演进,提出了全新的向量检索功能设计思路,满足业务对向量检索稳定性与性能方面的需求。
向量检索被广泛使用于以图搜图、内容推荐以及大模型推理等场景。随着业务升级与 AI 技术的广泛使用,用户期望处理的向量数据规模越来越大,对向量数据库产品的稳定性、易用性与性能需求也越来越高。 为此火山引擎ByteHouse团队基于社区ClickHouse进行技术演进,提出了全新的向量检索功能设计思路,满足业务对向量检索稳定性与性能方面的需求。
数据是支撑企业发展的关键生产要素。随着业务场景的多元化,数据体量不断增长,催生了数据类型多样、交互式分析复杂等挑战,业务对于数据的实时性、资源弹性、融合负载等需求也愈发高涨。由此,一款合适的数据库产品,将成为企业实现数据管理的最佳工具。 在11月10日、11月16日和11月24日举办的“乘云·向未来”火山引擎公共云·城市分享会上,火山引擎以“字节跳动超大规模数据库产品技术演进之路”为题,基于字节跳动业务的多样性、规模化发展,解构了其数据库产品体系特征及技术演进历程,为企业疏解数据管理难题、带来数据治理的良策。
自2013年至2023年6月,字节跳动实验平台Libra(对外产品名为火山引擎A/B测试DataTester)已累计执行240万次A/B测试,为公司内500多个业务提供A/B测试评估和智能优化服务。 Libra平台如何一步步成长到足以支撑全公司各项业务完成在线实验、Libra团队是如何管控平台上的各类用户群体的实验行为,本文将从激励与控制两个维度探讨字节跳动Libra对平台用户的治理方法。
作为企业级数据库的核心组件之一,查询优化器的地位不可忽视。对于众多依赖数据分析的现代企业来说,一个强大且完善的查询优化器能够为数据管理和分析工作带来巨大的便利。 作为一款火山引擎推出的云原生数据仓库,ByteHouse基于开源ClickHouse构建,并在字节跳动内外部场景的检验下,对OLAP引擎能力、性能、运维、架构进一步升级。ClickHouse以快速处理数据而著名,但其查询优化器在处理多表查询和高维度数据时却显得力不从心。为了解决这一问题,火山引擎ByteHouse自研并推出了一款全新的查询优化器。 本篇文章来源于火山引擎ByteHouse技术专家《ByteHouse查询优化器的设计与实现》的分享,从现状分析、设计思路、实现方案、高阶优化、优化效果五个部分,拆解ByteHouse查询优化器如何实现性能10倍提升。
随着科技的不断进步和全球数字化浪潮的席卷,企业数字化转型已经成为了企业生存和发展的关键。它不仅仅是一道选择题,更是一道必答题。 根据最新的数据,国内企业对数字化转型的投资已经达到了一个新高。根据国家统计局的数据,去年我国数字化转型的总投资额超过了 1.5 万亿元,同比增长了 20%。 目前企业一般采用云计算、大数据、人工智能等技术手段,来提高生产效率、优化客户体验和拓展新的商业模式,但是很多企业在数字化转型方面依然面临很多困难和挑战,比如数据整合与分析难度大、技术人才匮乏、信息安全风险、 投入成本高昂等问题。