【CSGO

文本到图像生成中的内容风格组合

讨论：https://huggingface.co/papers/2408.16766

扩散模型在受控图像生成方面表现出色，这进一步激发了对图像风格迁移的兴趣。现有的工作主要集中在基于无训练的方法（例如图像反演），这是由于特定数据的稀缺。在这项研究中，我们提出了一个内容风格风格化图像三元组的数据构建管道，该管道生成并自动清理风格化数据三元组。基于此管道，我们构建了一个数据集IMAGStyle，这是第一个包含21万张图像三元组的大规模风格迁移数据集，为社区提供探索和研究的资源。借助IMAGStyle，我们提出了CSGO，这是一个基于端到端训练的风格迁移模型，该模型通过独立特征注入明确地解耦内容和风格特征。统一的CSGO实现了图像驱动的风格迁移、文本驱动的风格化合成和文本编辑驱动的风格化合成。大量实验表明，我们的方法在增强图像生成中的风格控制能力方面是有效的。】