IC-Light:图像重新照明技术
只需输入文本提示词(如“左侧光线”、“日光”),模型通过这些提示词就能生成具有特定光照方向和特征的图像。
例如用户输入提示词“阳光从窗口射入、温馨氛围、卧室”,并选择光照方向“左侧”。
模型将生成具有左侧光照效果的图像,模拟阳光从左侧窗户射入的温暖氛围。
还可以通过结合背景图提示信息,可以对前景物体进行不同风格的光照变化。
功能特点:
1.文本条件模型:用户可以输入文本提示词(如“左侧光线"、“日光"),模型通过这些提示词和初始潜变量生成具有特定光照方向和特征的图像。
例如用户输入提示词"阳光从窗口射入、温馨氛围、卧室",并选择光照方向"左侧'。模型将生成具有左侧光照效果的图像,模拟阳光从左侧窗户射入的温暖氛围。
1.背景条件模型:通过结合背景提示信息,可以对前景物体进行不同风格的光照变化,而无需复杂的提示词。
只需提供简单的描述,如“电影般的灯光",即可轻松生成图像。模型根据提示和背景生成适当光照的肓景图像,使人物与背景的光照匹配,呈现电影风格。
2.一致的照明:利用HDR(高动态范围)图像中光线传播的独立性,使不同光源的混合效果与混合光源产生的效果一致。该方法通过在模型训练期间引入MLP(多层感知器)来实现一致的光照,使模型能够产生具有高度一致性的重照明效果。
例如:用户选择多个不同的光照方向(如左侧光、右侧光、底部光),模型将产生一致的光照效果,甚至可以合并生成法线图。这表明模型通过潜变量空间实现了不同光源的混合效果。
3.潜变量空间训练:通过潜变量空间的训练,模型能学习到不同光照的映射关系,实现重照明效果的-致性。利用这种—致性特性,甚至可以将不同重照明效果合并成法线图。
GitHub: https://github.com/lllyasviel/IC-Light
在线体验: https://huggingface.co/spaces/Illyasviel/IC-Light
- 复制链接
- 举报