ControlNeXt强大且高效的图像和视频生成控制讨论: https://huggingface.co/papers/2408.06070扩散模型在图像和视频生成方面展示了出色且稳健的能力。为了在生成结果上实现更大的控制，研究人员引入了额外的架构，如ControlNet、Adapters和ReferenceNet，以整合条件控制。然而，当前的可控生成方法通常需要大量的额外计算资源，特别是在视频生成方面，并且在训练时面临挑战或者控制效果较弱。在本文中，我们提出了ControlNeXt：一种强大且高效的可控图像和视频生成方法。我们首先设计了一种更加简洁且高效的架构，用最小的额外成本取代繁重的额外分支，与基础模型相比，这种简洁的结构也使我们的方法能够无缝集成其他LoRA权重，从而无需额外训练即可实现风格变更。至于训练，我们相比替代方法减少了高达90%的可学习参数。此外，我们提出另一种方法，称为Cross Normalization (CN)，作为Zero-Convolution的替代，以实现快速且稳定的训练收敛。我们在图像和视频的不同基础模型上进行了各种实验，展示了我们方法的稳健性。