V^3: 通过可流媒体的二维动态高斯在移动设备上观看体积视频

讨论地址: https://huggingface.co/papers/2409.13648

像观看二维视频一样无缝体验高保真体积视频是一个长期以来的梦想。然而，当前的动态3DGS方法尽管渲染质量很高，但由于计算和带宽限制，在移动设备上流媒体播放时面临挑战。本文介绍了一种名为V3（Viewing Volumetric Videos）的新方法，通过流媒体动态高斯实现高质量的移动渲染。我们的关键创新在于将动态3DGS视为二维视频，使得可以使用硬件视频编码器。此外，我们提出了一种两阶段的训练策略，以快速训练速度降低存储需求。第一阶段采用哈希编码和浅层MLP学习运动，然后通过剪枝减少高斯的数量以满足流媒体需求，而第二阶段使用残差熵损失和时间损失微调其他高斯属性，以改善时间连续性。这种策略解耦了运动和外观，在保持高渲染质量的同时，具有紧凑的存储需求。同时，我们设计了一个多平台播放器来解码和渲染二维高斯视频。大量实验表明，V3的有效性，能够在常见设备上实现高质量的渲染和流媒体播放，超越了其他方法，前所未有地在移动设备上实现动态高斯的流媒体播放。我们的伴随播放器为用户提供了前所未有的体积视频体验，包括平滑滚动和即时分享。