Personalized Restoration:面部图像精准恢复和个性编辑技术
该项目不仅能复原受损图像细节,同时能精准捕捉和重现个人独特的面部特征。
确保恢复的图像既清晰自然,又忠实于原始面貌。
同时它还支持面部交换功能:也就是换脸
此外,它还支持文本引导的编辑,允许用户通过简单的文本提示,如“微笑”或“蓝眼睛”,来改变恢复图像的特定细节。
它通过先进的双轴调整方法——结合文本引导和模型调整——确保恢复的图像既忠实于原始面貌,又保持个人的独特身份。
让我们来举例解释其主要功能和作用:
假设你有一张模糊的老照片,是你的外祖父在年轻时的样子。这张照片非常重要,但因为年代久远,这张照片非常模糊,颜色褪色,面部细节几乎无法辨认。你想恢复这张照片,使其看起来更清晰、更接近原始状态。
传统的图像恢复技术可能会使照片变得更清晰,但可能会丢失你祖父独特的面部特征,如特定的微笑或眼睛的形状。这是因为传统技术通常依赖于一般性的图像模型,这些模型并不专门针对你祖父的独特外观。
Personalized Restoration via Dual-Pivot Tuning使用两阶段的个性化调整过程:
1、文本引导的调整阶段:
• 假设你还有一些外祖父其他时期的清晰照片。这些照片和一些描述性文本(如“年轻时的外祖父,戴着眼镜,有着特别的笑容”)被用来微调生成模型G。
• 这个微调过程让模型能够了解和学习你外祖父的独特面部特征,比如他的眼睛形状、微笑的方式等。
2、模型基础的调整阶段:
• 接下来,引导网络E在固定了微调过的生成模型G的基础上进行调整。
• 这一步骤的目的是让引导网络在恢复模糊照片时,能够同时考虑到个性化特征(比如外祖父的笑容)和图像的其他方面(如颜色和清晰度)。
最终结果是:
• 恢复后的照片不仅变得清晰,颜色和细节也都得到了改善。
• 更重要的是,这张照片忠实地反映了你外祖父的独特面部特征,让人一看就能认出是他。
项目及演示:https://personalized-restoration.github.io
论文:https://arxiv.org/abs/2312.17234
GitHub:https://github.com/personalized-restoration/personalized-restoration
- 复制链接
- 举报