本篇文章来源于ByteHouse产品专家在火山引擎数智平台(VeDI)主办的“数智化转型背景下的火山引擎大数据技术揭秘”线下Meet up的演讲,将从ByteHouse数据库架构演进、增强HaKafka引擎实现方案、增强Materialzed MySQL实现方案、案例实践和未来展望四个部分展开分享。
向量检索被广泛使用于以图搜图、内容推荐以及大模型推理等场景。随着业务升级与 AI 技术的广泛使用,用户期望处理的向量数据规模越来越大,对向量数据库产品的稳定性、易用性与性能需求也越来越高。为此火山引擎 ByteHouse 团队基于社区 ClickHouse 进行技术演进,提出了全新的向量检索功能设计思路,满足业务对向量检索稳定性与性能方面的需求。
向量检索被广泛使用于以图搜图、内容推荐以及大模型推理等场景。随着业务升级与 AI 技术的广泛使用,用户期望处理的向量数据规模越来越大,对向量数据库产品的稳定性、易用性与性能需求也越来越高。 为此火山引擎ByteHouse团队基于社区ClickHouse进行技术演进,提出了全新的向量检索功能设计思路,满足业务对向量检索稳定性与性能方面的需求。
数据是支撑企业发展的关键生产要素。随着业务场景的多元化,数据体量不断增长,催生了数据类型多样、交互式分析复杂等挑战,业务对于数据的实时性、资源弹性、融合负载等需求也愈发高涨。由此,一款合适的数据库产品,将成为企业实现数据管理的最佳工具。 在11月10日、11月16日和11月24日举办的“乘云·向未来”火山引擎公共云·城市分享会上,火山引擎以“字节跳动超大规模数据库产品技术演进之路”为题,基于字节跳动业务的多样性、规模化发展,解构了其数据库产品体系特征及技术演进历程,为企业疏解数据管理难题、带来数据治理的良策。
自2013年至2023年6月,字节跳动实验平台Libra(对外产品名为火山引擎A/B测试DataTester)已累计执行240万次A/B测试,为公司内500多个业务提供A/B测试评估和智能优化服务。 Libra平台如何一步步成长到足以支撑全公司各项业务完成在线实验、Libra团队是如何管控平台上的各类用户群体的实验行为,本文将从激励与控制两个维度探讨字节跳动Libra对平台用户的治理方法。
作为企业级数据库的核心组件之一,查询优化器的地位不可忽视。对于众多依赖数据分析的现代企业来说,一个强大且完善的查询优化器能够为数据管理和分析工作带来巨大的便利。 作为一款火山引擎推出的云原生数据仓库,ByteHouse基于开源ClickHouse构建,并在字节跳动内外部场景的检验下,对OLAP引擎能力、性能、运维、架构进一步升级。ClickHouse以快速处理数据而著名,但其查询优化器在处理多表查询和高维度数据时却显得力不从心。为了解决这一问题,火山引擎ByteHouse自研并推出了一款全新的查询优化器。 本篇文章来源于火山引擎ByteHouse技术专家《ByteHouse查询优化器的设计与实现》的分享,从现状分析、设计思路、实现方案、高阶优化、优化效果五个部分,拆解ByteHouse查询优化器如何实现性能10倍提升。
随着科技的不断进步和全球数字化浪潮的席卷,企业数字化转型已经成为了企业生存和发展的关键。它不仅仅是一道选择题,更是一道必答题。 根据最新的数据,国内企业对数字化转型的投资已经达到了一个新高。根据国家统计局的数据,去年我国数字化转型的总投资额超过了 1.5 万亿元,同比增长了 20%。 目前企业一般采用云计算、大数据、人工智能等技术手段,来提高生产效率、优化客户体验和拓展新的商业模式,但是很多企业在数字化转型方面依然面临很多困难和挑战,比如数据整合与分析难度大、技术人才匮乏、信息安全风险、 投入成本高昂等问题。
在万物上云的时代,多云架构已经成为企业上云战略的重要趋势。据IDC报告,到2023年,全球85%的企业将采用多云架构。与单一云服务相比,多云架构具有更高的弹性和可扩展性,可以更好地应对企业的业务需求和突发的云服务问题。 然而,如何让不同的云平台之间实现业务系统的无缝对接?如何将资源利用率发挥到极致?为了防止出现“信息孤岛”等问题,云原生的实践者们不断探索多云环境下的解决方案。 在11月10日、11月16日和11月24日举办的“乘云·向未来”火山引擎公共云·城市分享会上,火山引擎以“字节跳动多云演进及降本实践”为题,介绍分享了字节跳动多云算力架构和火山引擎云原生技术,以及如何解决多云环境下的部署、运维、数据和成本等挑战。
由于流量红利逐渐消退,精细化营销逐渐成为新趋势。在数据平台建设中,不少企业开始引入OLAP引擎以实现广告业务的精准投放。 本篇聚焦ByteHouse技术和落地经验,以字节跳动内部场景的一套方案,具体拆解OLAP广告业务的实现逻辑和业务效果。
西瓜之前存在过一类RenderThread闪退,从堆栈上看,全部都是系统so调用,给人的第一印象像是一个系统bug,无从下手。闪退集中在Android 5~6上,表现为打开直播间立即闪退。该问题在2022年占据Native Crash Top5,2023年更是上升到到Top1。因此有必要投入时间和精力再重新审视一下这个问题。在历经多周的源码分析和排查后,逐步明确了问题根因并修复,最终取得了显著的稳定性收益和业务收益。 接下来,我们将抽丝剥茧,一步步深入分析这个历史遗留问题,揭开它背后真正的原因。