MaterialFusion增强逆向渲染的材料扩散先验讨论：https://huggingface.co/papers/2409.15273近期在逆向渲染领域的研究表明，利用物体的多视图图像来恢复形状、反照率和材料具有很大的潜力。然而，由于从输入图像中分离出反照率和材料属性的固有挑战，恢复的组件在新的光照条件下往往无法准确渲染。为了解决这个问题，我们引入了MaterialFusion，这是一个增强的传统3D逆向渲染管道，结合了2D纹理和材料属性的先验知识。我们提出了StableMaterial，这是一种2D扩散模型先验，可以细化多光照数据以估计给定输入外观的最可能的反照率和材料。该模型在大约12K个由艺术家设计的合成Blender对象的精选数据集BlenderVault中提取的反照率、材料和重新光照图像数据上进行训练。我们将这种扩散先验与逆向渲染框架结合起来，使用评分蒸馏采样（SDS）来引导反照率和材料的优化，与之前的工作相比，改进了重新光照性能。我们在4个不同光照条件下的合成和真实对象数据集上验证了MaterialFusion的重新光照性能，显示出我们的扩散辅助方法在新颖光照条件下显著改善了重建对象的外观。我们计划公开发布我们的BlenderVault数据集，以支持该领域的进一步研究。