传统的数据传输方式大多是利用一个链路、选择设备的默认网卡进行传输,使用这种方式实现实时音视频通话时,如果默认网络出现问题(如断网、弱网等),用户的通信就会发生中断或者卡顿,影响用户体验。 多链路传输,顾名思义,就是使用多个链路进行传输数据的一种技术。近年来,单设备上支持多个可用网卡的技术越来越普遍,比如我们的手机就同时支持无线网卡和 4G/5G 网卡,有些双卡手机还能同时支持两个 4G/5G 网卡。而多链路技术就是充分利用用户设备上的多个网络资源进行数据传输,当某一个网络出现问题时,其他可用网络可以继续不间断地传输数据,避免因单一网络问题导致通话中断或者卡顿,提升用户通话的可用性和流畅性。 目前,多链路传输技术已经在火山引擎 RTC 打磨基本成熟,并在抖音和飞书会议等业务场景落地,有效地降低了用户的通话卡顿率,提升了用户的体验。
随着数据量和数据复杂性的不断增加,越来越多的企业开始使用OLAP(联机分析处理)引擎来处理大规模数据并提供即时分析结果。在选择OLAP引擎时,性能是一个非常重要的因素。 因此,本文将使用TPC-DS基准测试的99个查询语句来对比开源的ClickHouse、Doris、Presto以及ByConity这4个OLAP引擎的性能表现,以便为企业选择合适的OLAP引擎提供参考。
火山引擎对于用户敏感数据尤为重视,在火山引擎提供的数据分析产品中,广泛采用差分隐私技术对用户敏感信息进行保护。此类数据产品通常构建于 ClickHouse 等数据引擎之上,以 SQL 查询方式来执行计算逻辑,且查询逻辑往往较为复杂,因此对差分隐私的应用提出了以下要求: 零改造、零感知:最大程度避免影响业务现有查询方式,最好做到业务零感知、零改造; 良好、灵活的适配性:能够适配不同数据引擎的查询语法,以及能够处理包含多层嵌套、多重计算、多表连接等情形的复杂 SQL 语句; 安全性与可用性平衡:能够根据业务数据质量要求,计算合理的隐私预算,在安全性和数据可用性之间保持平衡; 针对以上需求,火山引擎安全研究团队开发了 Jeddak-DPSQL:一种基于差分隐私的 SQL 代理工具。Jeddak-DPSQL 能够兼容多种数据引擎和SQL方言,内嵌多种差分噪声扰动算法,具备隐私预算管理能力,并且能够与底层数据引擎结合,在数据分析师无感的情况下,对 SQL 语句进行自动化分析和结果加噪处理。作为数据安全和隐私合规治理的标准能力之一,Jeddak-DPSQL 已经在抖音集团相关业务中得到了普遍应用
使用原生ClickHouse集群进行节点数据查询和写入时,通常会配合使用chproxy来对查询进行负载均衡。但由于chproxy缺少TCP协议支持,导致性能、查询能力等受限。这也成为困扰众多ClickHouse开发者的一大难题。 那么,究竟应该如何突破?本文将揭秘火山引擎ByteHouse企业版自研网关组件如何解决以上问题。
讲领域切入设计这个话题,是因为之前我记得有个读者问过我2个问题: 我们是 xxx 的,但是现在老大感觉后台比较复杂,耦合性高,硬代码太多,想让我们重构,但是我感觉不知道怎么做?根本无从下手。 老大每天让我们做提效,讲究设计,还要根据业务进行设计,但是我只知道一些基础的设计模式,感觉没什么好做的,也不知道要做成什么样,太煎熬。 哈哈,这边先打个马虎眼,先不忙回答这个问题,先讲讲我身上的一个案例,最后再来回答这个问题。
本篇文章将从业务背景、业务痛点、幸福里指标数据实践、效果收益四个方面,介绍幸福里如何通过火山引擎DataLeap、DataWind等数据产品,从0-1完成指标体系搭建,并获得显著收益。
Apache Iceberg 是一种开源数据 Lakehouse 表格式,提供强大的功能和开放的生态系统,如:Time travel,ACID 事务,partition evolution,schema evolution 等功能。 本文将讨论火山引擎EMR团队针对 Iceberg 组件的优化思路,通过引入索引来提高查询性能。
近期,第39届IEEE数据工程国际会议(以下简称ICDE2023 )在美国加利福尼亚召开,由字节跳动数据平台提交的论文聚焦数据库领域,提出 WaLSM架构设计、优化和性能提升的创新技术方案,成功被大会收录。 ICDE是全球数据库领域的三大会议之一,重点面向数据工程和数据密集型系统研究人员, 致力于解决设计、构建、管理和评估高级数据密集型系统和应用程序方面的研究问题,也是研究人员、从业者、开发人员和用户探索前沿思想并交流技术、工具和经验的领先论坛。 据介绍,本次 ICDE 吸引了大约700人参与,共接收256篇论文,其中14篇为数据库系统相关研究。作为数据库系统的研究成果之一,字节跳动数据平台投递的论文《Workload-Aware Log-Structured Merge Key-Value Store for NVM-SSD Hybrid Storage 》,重新设计 WaLSM,针对真实负载具备强访问倾斜性的特点,结合 DRAM-NVM-SSD 存储系统优势,提出自适应的 LSM-tree 调优方案,具备极强的技术创新性,因而被ICDE2023收录。