「RealFill：图像补全的生成模型，可以填充缺失或不完整的图像」

RealFill 提供了一种全新的方法来解决图像补全问题，通过使用少量参考图像进行图像补全。它不仅生成视觉上引人注目的内容，而且这些内容是忠实于原始场景的，解决了现有模型由于缺乏足够场景信息而生成不真实内容的问题。

与其他图像补全技术不同，RealFill 使用少量的参考图像来个性化其生成模型。这意味着，如果你有一个缺失某个部分的图像，你可以使用其他几张相似场景的图像作为参考，RealFill 将使用这些参考图像来更准确地填充缺失部分。

项目及演示：https://realfill.github.io

论文：https://arxiv.org/abs/2309.16668

如何工作？

1、个性化生成模型：首先，RealFill 通过微调一个预训练的“图像补全扩散模型”来创建一个个性化的生成模型。这个微调过程使模型不仅保持了良好的图像先验（即对什么样的图像是“合理”的有一个基础的理解），而且还学习了输入图像（参考图像和目标图像）中的内容、光照和风格。

2、高质量图像内容：一旦模型被个性化，它就可以通过一个标准的“扩散采样过程”来填充目标图像的缺失区域。这意味着，它会逐渐地、一步一步地填充这些区域，直到得到一个高质量的、与原始场景忠实的图像。

有什么优点？

高度个性化：由于使用了参考图像，所以生成的内容更符合实际场景。

灵活性：参考图像不需要与目标图像完全对齐，甚至可以在不同的视点和光照条件下拍摄。

存在哪些局限？

速度问题：因为需要进行梯度基础的微调，所以处理速度可能不是很快。

视点和复杂性：当参考图像和目标图像的视点差异很大时，可能会影响3D场景的恢复。

这个技术在图像编辑、电影后期、游戏设计等多个领域都有巨大的应用潜力。

文章转载自互联网的那些事 https://weibo.com/u/1627825392