B站基于k8s构建的私有云平台已达万级节点规模,托管了公司大部分的在线业务以及机器学习、大数据、转码等离线业务。在推进降本增效的过程中,我们发现业务申请的容器资源规格存在不合理的现象,通常设置的资源配额会比实际负载偏大很多。这就造成节点的cpu分配率很高,已经无法调度新容器,但是节点的实际cpu峰值利用率却很低(如图所示)。
随着高速网络和5G的普及,目前市面上开始有越来越多的云游戏产品。通过云游戏,玩家不需要性能强劲的设备,也不需要下载如今包体越来越大的游戏,云游戏使玩家接触游戏的门槛变得越来越低。 目前业界云游戏最大的难题是如何降低延迟和解决串流卡顿,其次市面上的云游戏解决方案几乎被几家提供商垄断,第三方解决方案在功能定制和优化上自由度低、租用成本高。 为了解决第三方解决方案的瓶颈,于是B站自研云游戏由此诞生。 B站云游戏从设计上允许全平台使用、游戏触感反馈、本地多人合作、远程多人合作甚至可以让用户私有化部署到自己的PC上。
数据驱动理念已被各行各业所熟知,核心环节包括数据采集、埋点规划、数据建模、数据分析和指标体系构建。在用户行为数据领域,对常见的多维数据模型进行信息提炼和模型整合,可以形成一套常见的数据分析方法来发现用户行为的内在联系,能更好洞察用户的行为习惯和行为规律,帮助企业挖掘用户数据的商业价值。 行业内最早可追溯到Google Analytics埋点分析工具,国内较早开始这方面研究的是百度大数据分析平台;随着15年后国内大数据兴起,神策的用户行为分析平台、GrowthingIO的增长平台等独立数据分析平台公司相继成立;18年后一些发展较快的大厂经过几年数据积累也有了自己的分析平台,例如美团点评的Ocean行为分析平台、字节的火山引擎增长分析平台等等。 只有当数据达到一定规模才更适合用科学化的方法来提升数据分析效率,如前面所述,虽然Google和百度在这块最早探索,但后面一些互联网公司也是过几年才有自己的产品,即数据产品的发展需要与实际数据规模和业务发展相符。B站最早从19年开始关注大数据建设,到现在已经有一套较为成熟的数据产品——北极星,可以实现对用户行为数据进行埋点采集、埋点测试、埋点管理
时光匆匆,2022年2月21日诞生的哔哩哔哩技术团队公众号已经走过了第一个春秋。这一年我们共发布了101篇原创文章,在大家的喜爱和支持下,也有了10W+阅读量的文章,今天为各位送上2022年最受欢迎的20篇文章,请大家品读分享,也可以关注留言你未来想看到的内容。
目前B站已在自建视频CDN下行中全量部署了基于QUIC和HTTP/3协议的网关服务(以下简称QUIC网关)。和TCP网关相比,QUIC网关在视频首帧、卡顿率以及加载失败率等常见的QoE/QoS指标方面都有不错的收益。另一方面,由于QUIC使用了更复杂的协议头和解析规则,此外Linux内核对UDP收发包的性能也不甚理想,这些方面都使得QUIC占用了更多的CPU负载,最终导致了更多资源成本的消耗。 为了给B站用户提供更稳定流畅的视频观看体验,同时降低成本,网络协议组团队通过技术选型,排除了DPU方案,决定使用AF_XDP技术来优化QUIC网关的收发包效率,减少CPU负载。
随着持续集成和敏捷开发的不断发展,移动应用的发布变得越来越频繁。以B站应用为例,主站粉版APP每周都会发布一次新的版本,主站HD应用的Android端与ipad端每周交替发布新的版本。在应用快速迭代的同时,QA需要在规定时间内进行大量的回归测试以保证应用的质量。一方面,大量的测试用例需要耗费较多的人力和时间,另一方面,BUG检出时间的不确定性导致给予研发修复的时间并不是很充足。因此急需一种技术来帮助QA快速筛选出高风险用例,将BUG的发现时间提前,从而给研发更多时间去修复BUG。在此背景下,我们经过调研后,选择了使用测试用例排序优化技术(Test Case Prioritization,以下简称TCP)来帮助QA对测试用例进行优先级排序,提高测试效率。
以Flink为基础的实时计算在B站有着广泛而深入的应用。目前B站的Flink作业主要运行在三种集群环境下:纯物理机部署的YARN集群、为了提高Kafka集群资源利用率而和Kafka混部的YARN集群以及为了提高线上服务器而和K8S混部的YARN集群(这部分有计划在不远的将来使用Flink On K8S部署方式代替)。其中纯物理机YARN集群使用纯SSD盘的统一机型的服务器,包含1000+台服务器;和Kafka混部的集群目前为Flink提供了2000+ cores;和线上的K8S混部的集群已经使用了6000+ cores,并且还在持续增加。在业务方向上,B站的Flink已经应用在了包括AI、广告、数仓、数据传输和其它的很多业务上。目前B站Flink作业的最大并行度为2000。下图展示了B站实时应用的整体架构及Flink Runtime的工作范围。
S12决赛尾声,伴随DRX成员们从眼泪到荣耀的升华,技术保障团队的心也松弛下来,逐渐把目光从监控中挪开。一方面分享胜利的喜悦,一方面也为实现了“边喝茶边保障”的目标而高兴。 B站在本次直播为了提升用户体验,开启了送礼特效。以送礼为核心的营收场景是业务主推的方向之一。为此团队的小伙伴们在业务需求繁忙的情况下,同时做了大量的准备和优化。 本文我们聚焦于以写为主的送礼场景,对我们的技术保障思路做个简单的总结。聚焦到一个问题,那就是:高写场景该如何做技术保障?