DreamWaltz-G

从骨架引导的2D扩散生成的表现力3D高斯化身

讨论：https://huggingface.co/papers/2409.17145

通过利用预训练的2D扩散模型和得分蒸馏采样（SDS），最近的方法在文本到3D化身生成方面显示出有希望的结果。然而，生成能够表现丰富动画的高质量3D化身仍然具有挑战性。在这项工作中，我们提出了DreamWaltz-G，一种从文本生成可动画3D化身的新型学习框架。该框架的核心在于骨架引导的得分蒸馏和混合3D高斯化身表示。具体来说，所提出的骨架引导得分蒸馏将3D人类模板的骨架控制集成到2D扩散模型中，增强了视角和人体姿态的一致性SDS监督。这有助于生成高质量的化身，缓解如多余的面孔、额外的肢体和模糊等问题。所提出的混合3D高斯化身表示基于高效的3D高斯，结合神经隐式场和参数化3D网格，实现了实时渲染、稳定的SDS优化和富有表现力的动画。大量实验表明，DreamWaltz-G在生成和动画3D化身方面非常有效，在视觉质量和动画表现力上均优于现有方法。我们的框架还支持多种应用，包括人类视频再现和多主体场景组合。