4K4D：4K分辨率下的实时4D视图合成

它能实时地创建高质量的3D图像，这些图像不仅在空间上（也就是从各个角度看）都非常清晰（4K分辨率），而且还能随时间变化，就像在现实生活中一样。

在使用 RTX 4090 GPU 的情况下，该方法在渲染4K图像时能达到超过 80 FPS的速度。

项目及演示：https://zju3dv.github.io/4k4d/
论文：https://arxiv.org/abs/2310.11448
GitHub：https://github.com/zju3dv/4K4D

4D：除了三维空间（长、宽、高）外，这里的第四维通常是时间。在动态场景中，物体会随时间而移动，所以需要第四维来描述这种变化。

工作原理：

该项目引入了一种支持硬件光栅化的4D点云表示，从而实现了前所未有的渲染速度。这种表示建立在一个4D特征网格上，使得点可以自然地被规范化并稳健地优化。项目还引入了一种新颖的混合外观模型，以在保持效率的同时提高渲染质量。通过使用一种可微分的深度剥离算法，该模型能够从RGB视频中有效地进行学习。

这就像是用多个摄像头捕捉现实，然后通过计算机算法把这些捕捉到的信息转换成高质量的3D图像。

1、捕捉现实世界：首先，它从多个摄像头获取视频，然后用这些视频来创建一个粗糙的3D模型，这个模型包含了很多小点。

2、学习和优化：这些小点不是静态的。系统会不断地学习和调整这些点，使它们更准确地反映现实世界。

3、添加细节：每个点不仅有位置信息，还有其他信息（比如颜色、亮度等），这样渲染出来的图像会更逼真。

4、快速渲染：最后，它使用一种特殊的算法来快速地将这些3D点转换成我们可以在屏幕上看到的2D图像。

实验结果：

在使用RTX 3090 GPU的情况下，该方法能以超过200 FPS（帧每秒）的速度渲染1125×1536分辨率的图像。

在使用RTX 4090 GPU的情况下，该方法在渲染4K图像时能达到超过80 FPS的速度。

质量对比：与其他现有方法相比，4K4D在渲染质量方面表现出色，几乎没有可见的伪影或失真。

应用场景：

虚拟现实（VR）：由于其高分辨率和实时性，非常适用于VR场景。

增强现实（AR）：可以用于实时渲染复杂的3D对象。

体育广播：可以用于实时捕捉和渲染运动员的动作。

艺术表演捕捉：适用于高质量的实时3D捕捉。

CR：互联网的那点事