面向主题驱动一次性生成的衍生类构建,继承类别属性
近期,主题驱动生成因其能够个性化文本到图像的生成而受到了显著关注。典型的研究集中在学习新主题的私有属性。然而,一个重要的事实并没有被认真对待,那就是一个主题不应该是一个孤立的新概念,而应该是预训练模型中某个类别的特化。这导致主题未能全面继承其类别中的属性,造成了与属性相关的生成质量差。在本文中,我们受到面向对象编程的启发,将主题建模为一个派生类,其基类是其语义类别。这种建模使主题能够从其类别中继承公共属性,同时从用户提供的示例中学习其私有属性。具体来说,我们提出了一种即插即用的方法,主题衍生规则化(SuDe)。它通过限制主题驱动生成的图像在语义上属于主题的类别,构建了基类-衍生类建模。在三种基线和两种骨干网络上针对各种主题进行的广泛实验表明,我们的SuDe在保持主题忠实度的同时,能够激发丰富的与属性相关的生成。