Alchemist:能够在真实图像中随意改变物体的材料属性
Google研究团队开发了一种名为“Alchemist”的方法,允许用户在保持照片真实感的同时,对图像中对象的材料属性进行参数化编辑。
也就是能够在真实图像中线性改变材料属性(如粗糙度、金属度、反照率、透明度等)。
Alchemist的功能特点
精确材料属性编辑:能够对图像中的物体进行细致的材料属性调整,如增加或减少物体的光滑度、改变物体的金属光泽、调整颜色和透明度等。
保持其他图像属性不变:在编辑材料属性的同时,保持图像中的其他属性(如物体的形状和背景)不变,确保编辑后的图像看起来自然且真实。
高度真实感:Alchemist使用文本到图像(T2I)生成模型,并通过合成数据进行微调,确保编辑后的图像保持高度的真实感。即使是对透明度的调整,模型也能正确填充背景并生成逼真的光影效果。
无需额外辅助信息:不同于传统方法,Alchemist不需要额外的3D几何数据、深度图或环境贴图,只需要输入图像和编辑指令即可进行材料属性的调整。
合成数据训练与泛化:通过使用生成的合成数据进行训练,Alchemist能够将其学习到的材料属性编辑能力有效地应用于真实图像。
多属性同时编辑:支持在单次操作中同时编辑多个材料属性,使用户能够更加灵活地对图像中的物体进行复杂的材料调整。
用户友好: Alchemist的编辑操作简单直观,无需专业的图像处理技能。用户只需输入所需的编辑指令和强度值,模型即可自动完成复杂的材料属性调整。
应用于3D重建:Alchemist不仅适用于静态图像,还可以将其编辑能力扩展到3D重建技术(如NeRF), 对3D场景中的材料属性进行控制。
室内设计:用户可以轻松模拟不同颜色和材质的房间效果,帮助做出装修决策。
产品设计:设计师可以快速生成不同材料和颜色的产品效果图,方便产品开发和市场测试。
3D渲染:通过与NeRF(神经辐射场)结合,Alchemist能够生成一致的3D渲染图像,支持下游的3D任务。