Kafka 是我们公司各个部门的重要数据中间件,主要用于上报、暂存和分发各种数据。我们不仅支持大数据场景,同时也保障在线场景的稳定性。 我们拥有1000+台Kafka机器,组成了20多个集群,针对不同业务场景配置了不同规格的机器,磁盘类型包括HDD,SSD和NVME。每日PB级输入,输出数十PB,肩负着公司数据传输的重任。随着集群规模的扩张,我们也遇到了越来越多的挑战。
今年B站1024程序员节,举办了一场别开生面的B站技术主题分享演讲活动。在分享会现场,特别邀请到多位重量级技术嘉宾阵容亲临,与程序员小伙伴分享技术知识,共同探讨应用与趋势。 在元宇宙和生成式智能媒体技术方向,我们有幸邀请到了上海交通大学未来媒体网络协同创新中心的胡强老师,亲临公司为B站小伙伴分享了该领域内的最新进展。胡强老师所在团队与中央广播电视总台国重实验室紧密合作,他还担任 8K 3D视频增强制作及显示项目负责人,在该领域有丰富的科研和实践经验,下面是胡强老师精彩的分享内容。
在全公司针对业务效率提升有严格要求的背景下,游戏技术中台一直在思考,如何提高全球发行效率? 在游戏技术中台的众多产品当中,SDK是赋能游戏研发的核心产品之一,其核心能力包括账号、交易、合规(实名、防沉迷),以及社交、营销等能力。现有的SDK群存在22种类型,在过往的高速发展和历史惯性中,SDK群划分的维度主要有3个: 发行品牌:bilibili、白板、D、海外bilibili、海外白板、K;(出于发行品牌隔离保护需要,下文以代号D/K分别代表国内和海外被保护的发行品牌) 发行地区:中国大陆、繁中、韩国、东南亚、欧美等; 设备类型:iOS、安卓、PC。 不同发行品牌、地区、设备,存在相同定位的API,但是定义和标准不同,导致在不同合作模式(主要分为:独家代理、联合运营;独家代理简称独代,联合运营分为两种,联运和UO,UO为Union Operation的缩写特指在独代的前提下,主动与第三方下载渠道合作;联运特指在没有独家代理的前提下,第三方与bilibili的合作。),研发需要重复对接多种类型SDK和服务端API;
性能优化是个恒久的话题,随着产品的演进,业务的增长,系统能力总有达到瓶颈的一天,它不可或缺的陪伴着我们走向壮大再走向衰败,是我们面临的不可回避的问题。下图1展示了风控系统近半年来承载流量的增长趋势,可见最近半年来流量高速增长,且对于可预见的未来而言,接入流量还会持续高增。伴随着流量的增长,系统各方面--存储、计算、IO等都表现出一定的瓶颈,通过原始简单的水平扩容并不能解决所有的问题,而且还会带来成本的上升。因此,我们近期对系统进行了一系列优化改造, 目的是满足未来一段时间内业务的增长使用,降低接口的耗时满足某些延时敏感型业务的需要,同时也伴随着一定的IT成本优化。本文结合常见的性能优化手段(预取、批量、异步、压缩、缓存),及在风控系统中的实践进行总结,希望能给读者对于性能优化实践带来一些参考。
从剪辑工具的角度,可以将创作拆解为主题、素材、剪辑三个要素 主题:对应的品类 & 风格,比如游戏、影视、泛生活等 素材:用户使用的视频、音频、图片等内容 剪辑:对素材进行时间、空间、效果上的调整,比如裁剪、复制、滤镜、转场、特效等 视频模板恰好覆盖了创作的三个要素,限定「主题」和「剪辑手法」,允许用户填入部分「自定义素材」,降低用户创作门槛,实现B站的供增需求,从而辅助达成用增的目标
当用户在浏览B站时,首页所呈现的视频内容以卡片形式依序展示,这些视频卡片的封面大多数是与视频相关的静态图像。在制作视频时,up 主通常会选取视频中的某一帧并加上较为醒目的文案来制作封面;而电影和记录片则倾向于选择具有代表性的精彩帧画面作为封面展示。这种策略通过简洁、直观的封面设计,让用户在页面浏览的时候能迅速捕捉到视频的主题。
先说明下什么叫“全量在播”,指的是直播范围内,当前所有在线主播的信息,尤其是主播的房间id和uid,对于很多上游业务来说,是必要的数据,是业务逻辑的数据基础。 直播之前虽然有一套这样的系统,但是从目前运行状态看并不能面向更高体量业务支撑,而且线上也因为这种过时的在播架构工作异常发生过几次线上事故。 所以正如一本书所讲,如果不杀死任何系统,你会被僵尸包围。对于这种遗留系统需要做面向未来目标的设计。
房间系统是直播业务的“基石”,开播和看播两大体系都是围绕房间场景展开。 房间系统架构也经历一系列的升级和挑战,从房间读多活、混沌流量治理、热点发现、多级缓存等,支撑了S11破千万PCU的流量洪峰冲击。 为了应对业务更大的挑战,基于CQRS思想,分离大流量的用户高读场景(Query)和注重数据强一致性的开播创建房间等写场景(Command)。对于用户端可以无状态无限制的扩容服务副本,做到支持更大线上用户同时在线的目标。
在线视频领域的繁荣离不开创作者在内容生产环节的辛勤耕耘。视频既是信息得以高速传播的有效载体,也是创作者的劳动成果,本质上也是一种虚拟资产。随着版权意识的崛起,越来越多的创作者和观众都在为保护版权做着不懈努力。然而整个版权环境的建立需要一定的过程,在此期间存在着大量的侵权行为,如对视频未经授权的盗用、剪辑、跨平台间的搬运、未经许可的商用行为等等。同时,对侵权行为的查验、举证、界定等环节都需要耗费大量的人力物力,并可能存在创作者较难处理的技术及法律难点,导致维权本身变成一个成本极高却收效胜微的事情,削减了版权所有者的创作热情。 目前主流视频网站会在视频上添加明文水印,例如在视频右上角贴上平台的logo来声明视频的版权,这是一种非常直接且有效的手段。但是针对这种明文水印,有基础视频处理经验的人只需要对视频画面进行一定程度的裁剪就能够轻易去除,更有甚者会采用目前已经非常成熟的AI去明文水印的方法进行抹除。可以看出,版权保护与侵权行为始终进行着的攻防战,也正是这个攻防过程促进了视频水印技术的不断发展。