BVT:高性能多媒体算法推理基座
Source :
mp.weixin.qq.com
Author :
张鹏伟&王沛洲
随着人工智能技术的快速发展,B站已经有非常多的AI算法可以用来助力多媒体业务,诸如超分辨率、人脸增强、视频插帧、窄带高清等等。如今,以扩散模型(Stable Diffusion)和大语言模型(LLM)掀起的生成式AI浪潮又给多媒体业务带来了更多技术可能。相对于各类AI算法模型的研发,模型推理与视频处理框架在多媒体业务部署中的重要性更为凸显,是工程化”基座“的存在。一个优秀的多媒体AI算法工程化框架,不仅可以提供更高的运行性能、异构计算及多平台支持等功能,同时也增加代码复用率,提升开发效率,加速了业务部署上线。为此,我们研发了一套多媒体业务算法工程化SDK,Bilibili Vision Toolkit (简称BVT),为B站的各类点/直播业务提供AI算法支撑,已在线上提供了上亿量级的视频稿件处理。另外,BVT是对之前同样也是我们研发的一款视频处理引擎BANG做了重新设计和全面的改进升级,集成了更多的算法,提供更广泛的推理引擎支持,改善多平台兼容性,以及增加可自定义任务流等特性。