紧凑型3D高斯点法用于静态和动态辐射场讨论：https://-CSDN blink-领先的开发者技术社区

最新

红包

立Flag

投票

同城

发布

_akhaliq

1 年前

truetechsavvyak

紧凑型3D高斯点法用于静态和动态辐射场

讨论：https://huggingface.co/papers/2408.03822

3D高斯点法（3DGS）最近作为一种替代表示方式出现，它利用基于3D高斯的表示并引入了近似的体积渲染，达到了非常快的渲染速度和理想的图像质量。此外，后续研究成功地将3DGS扩展到动态3D场景，展示了其广泛的应用范围。然而，一个显著的缺点是，为了保持渲染图像的高保真度，3DGS及其后续方法需要大量的高斯点，这需要大量的内存和存储空间。为了解决这个关键问题，我们特别强调两个主要目标：在不牺牲性能的前提下减少高斯点的数量，并压缩高斯属性，如视角依赖的颜色和协方差。为此，我们提出了一种可学习的掩码策略，可以在保持高性能的情况下显著减少高斯点的数量。此外，我们通过采用基于网格的神经场来代替球谐函数，提出了一种紧凑但有效的视角依赖颜色表示。最后，我们通过残差矢量量化学习代码簿，以紧凑地表示几何和时间属性。通过量化和熵编码等模型压缩技术，我们在保持场景表示质量的同时，展示了静态场景比3DGS减少超过25倍的存储空间和增强的渲染速度。对于动态场景，我们的方法实现了超过12倍的存储效率，并保持了高质量的重建，与现有的最先进方法相比。我们的工作提供了一个全面的3D场景表示框架，实现了高性能、快速训练、紧凑性和实时渲染。

下一条：

Optimus-1混合多模态记忆增强的智能体在长期任务中表现卓越讨论：https://huggingface.co/papers/2408.03615构建通用智能体是人工智能领域的一个长期愿景。现有智能体在许多领域取得了显著进展，但它们在开放世界中的长期任务完成情况仍然不尽如人意。我们认为这是由于缺乏必要的世界知识和多模态经验，这些知识和经验可以指导智能体完成各种长期任务。本文中，我们提出了一种混合多模态记忆模块来应对上述挑战。该模块1) 将知识转化为分层有向知识图，让智能体能够显式地表示和学习世界知识，2) 将历史信息总结为抽象多模态经验池，为智能体提供丰富的上下文学习参考。在混合多模态记忆模块的基础上，构建了多模态智能体Optimus-1，配有专门的知识引导规划器和经验驱动反射器，在面对Minecraft中的长期任务时，能够更好地进行规划和反思。大量实验结果表明，Optimus-1在具有挑战性的长期任务基准上显著优于所有现有智能体，并在许多任务中表现出接近人类的水平。此外，我们引入了多种多模态大语言模型（MLLMs）作为Optimus-1的骨干。实验结果表明，借助混合多模态记忆模块，Optimus-1表现出强大的泛化能力，在许多任务上超过了GPT-4V的基准表现。