CloudWeGo - Shmipc 是字节跳动服务框架团队研发的高性能进程间通讯库,它基于共享内存构建,具有零拷贝的特点,同时它引入的同步机制具有批量收割 IO 的能力,相对于其他进程间通讯方式能明显提升性能。在字节内部,Shmipc 应用于 Service Mesh 场景下,mesh proxy 进程与业务逻辑进程、与通用 sidecar 进程的通讯, 在大包场景和 IO 密集型场景能够取得显著的性能收益。 开源社区关于这方面的资料不多,Shmipc 的开源希望能为社区贡献一份力量,提供一份参考。本文主要介绍 Shmipc 的一些主要的设计思路以及后续的演进规划。
在数仓分层架构体系中,从 ODS层到 DWD层数据转换需要进行数据清洗、脱敏、列式压缩等步骤。在B站用户行为埋点数据 ODS到 DWD层转换过程中,为了解决日增千亿条、20+TB/天增量规模下数据重复摄取带来的资源严重消耗的问题,引入了北极星(B站用户埋点行为分析链路)分流,按照部门进行分表。在埋点设计中使用spmid模型,将事件类型拆分为浏览 pv、曝光 show、点击 click等多个事件类型,并以这些事件类型作为除天、小时分区以外的第三级分区,再以事件类型产品来源作为四级分区。通过基于部门业务区分按照埋点事件类型+产品来源以多表多分区控制的形式,最大程度降低下游任务文件数据摄取数量以减少资源消耗。
ByteHouse是火山引擎数智平台旗下云原生数据分析平台,为用户带来极速分析体验,能够支撑实时数据分析和海量离线数据分析;便捷的弹性扩缩容能力,极致的分析性能和丰富的企业级特性,助力客户数字化转型。 本文为字节跳动数据平台超话数据直播回顾文章,全篇将从字节内部发展链路、选择ClickHouse原因,基于ClickHouse的四个维度优化、多场景实践四个版块,介绍ByteHouse基于ClickHouse的实时计算能力升级。
动效内容在全行业的各个场景里都已经被广泛使用,能够显著提升用户交互的体验。但动效素材的生产流程却一直是个很大的行业痛点,主要因为在传统的工作流下,依赖研发用代码还原动效的生产方式存在巨大的瓶颈。
容器和云原生平台使企业能够实现自动化应用部署,从而带来巨大的业务收益。但是,这些新部署的云环境与传统环境一样,容易受到黑客和内部人员的攻击和利用。勒索软件、加密货币挖矿、数据窃取和服务中断的攻击持续发生在针对基于容器的云原生环境之中。由于云平台安全缺陷导致频繁发生的重大网络安全事故,使得云平台下的安全测试显得尤为重要。
WebAssembly(也称为 Wasm)以其可嵌入和隔离的执行环境而成为一种流行的便携式二进制指令格式,用于客户端和服务器应用程序。将 WebAssembly 视为一种小型、快速、高效且非常安全的基于堆栈的虚拟机,专门用于执行可移植的字节码,不在乎它运行在哪个 CPU 或操作系统上。WebAssembly 最初是为 Web 浏览器设计的,用于成为函数的轻量级、快速、安全和多语言容器,但它不再仅限于 Web。 在 Web 上,WebAssembly 使用浏览器提供的现有 API。WebAssembly 系统接口(WASI)的创建填补了 WebAssembly 和运行在浏览器外部的系统之间的空白。这使非浏览器系统能够利用 WebAssembly 的可移植性,使 WASI 成为在分发时具有可移植性和在运行负载时具有隔离性的良好选择。
一线技术人每天都面临写需求、改缺陷、查工单,有时候不妨跳出来以一个旁观者的身份看一看自己。我们面临的业务是变化的,但做事的方法是有共性的,如何沉淀这些共性的做事方法才是做业务需求带来的最大成长。