本文对B站访问最频繁的视频详情页的实现技术与fanout read持续增长带来的问题进行深入分析,提出了构建业务关联索引的方案有效降低90%以上服务负载。同时针对更多的聚合展示场景提出并实现了一套通用数据聚合网关(DAGW)的解决方案。
大模型离线推理(Batch 推理)是指在具有数十亿至数千亿参数的大规模模型上进行分布式计算推理的过程,具有如下特点: 一次对一批数据进行推理,数据量通常是海量的,所以计算过程通常是离线计算; 推理作业执行过程一般同时包含数据处理及模型推理; 作业规模通常较大,采用分布式计算,消耗大量计算资源; 相比于在线推理,离线推理对延迟的要求并不高,主要关注吞吐和资源利用率。
由于网络的波动,拥塞控制对于保证实时通信(RTC)用户的体验质量(QoE)是必不可少的。这个组件调整媒体数据的发送速率,从而决定了视频编码的码率。然而,现有的控制方案要么只关注网络数值指标,要么不能适应各种网络环境。因而,我们在本文针对 RTC 提出了基于感知的拥塞控制(PACC: Perception-Aware Congestion Control)。利用卷积神经网络(CNN),我们开发了一个质量评估模型来预测视频质量。借助于用户感知的变化趋势分析,PACC 将朝着更好的 QoE 方向去调整码率。大量的实验证明了 PACC 的有效性,它在传输层和应用层的 QoE 指标方面分别比现有的方案高出 8.2% 至 32.4% 和 6.8% 至 18.0%。 本项工作为“淘宝(中国)软件有限公司-上海交通大学电子信息与电气工程学院媒体计算联合实验室”的合作研究成果。
为了进一步优化App性能,最近针对如何提高应用对CPU的资源使用、以及在多线程环境下如何提高关键线程的执行优先级做了技术调研。本文是对技术调研过程的阶段性总结,将分别介绍普通应用如何调控App频率、如何将指定线程绑定到特定CPU、如何通过提升线程优先级获得更多CPU时间片。
近日,在国际数据库领域顶级会议ACM SIGMOD23上,阿里云数据库与浙江大学合作的一篇论文《Detecting Logic Bugs of Join Optimizations in DBMS》获得最佳论文。
每个程序员都会讨厌两件事情,阅读没有注释的代码,给代码写注释。那么如何一次解决两大难题,不用写注释,也不会被他人吐槽没有注释呢?
随着上云项目的不断推进,大量的应用需要部署到 aws 上,其中有很多应用都依赖延迟队列的功能。而在 aws 上,我们选择以 Kafka 作为消息队列,但是 Kafka 本身不支持延迟队列,这就需要思考如何基于 Kafka 来实现延迟队列。