CVPR 2024 满分论文 | Deformable 3D Gaussian：基于可变形3D高斯的高质量单目动态重建新方法
Source :
mp.weixin.qq.com
Author :
多媒体实验室
单目动态场景（Monocular Dynamic Scene）是指使用单眼摄像头观察并分析的动态环境，其中场景中的物体可以自由移动。单目动态场景重建对于理解环境中的动态变化、预测物体运动轨迹以及动态数字资产生成等任务至关重要。 随着以神经辐射场（Neural Radiance Field, NeRF）为代表的神经渲染的兴起，越来越多的工作开始使用隐式表示（implicit representation）进行动态场景的三维重建。尽管基于NeRF的一些代表工作，如D-NeRF，Nerfies，K-planes等已经取得了令人满意的渲染质量，他们仍然距离真正的照片级真实渲染（photo-realistic rendering）存在一定的距离。我们认为，其根本原因在于基于光线投射（ray casting）的NeRF管线通过逆向映射（backward-flow）将观测空间（observation space）映射到规范空间（canonical space）无法实现准确且干净的映射。逆向映射并不利于可学习结构的收敛，使得目前的方法在D-NeRF数据集上只能取得30+级别的PSNR渲染指标。
