ControlNeXt: Controlo Poderoso e Eficiente para Geração de Imagens e Vídeos

ControlNeXt: Powerful and Efficient Control for Image and Video Generation

August 12, 2024

Autores: Bohao Peng, Jian Wang, Yuechen Zhang, Wenbo Li, Ming-Chang Yang, Jiaya Jia

cs.AI

Resumo

Os modelos de difusão têm demonstrado habilidades notáveis e robustas tanto na geração de imagens quanto de vídeos. Para obter um controle maior sobre os resultados gerados, os pesquisadores introduzem arquiteturas adicionais, como ControlNet, Adapters e ReferenceNet, para integrar controles condicionais. No entanto, os métodos atuais de geração controlável frequentemente exigem recursos computacionais substanciais adicionais, especialmente para a geração de vídeos, e enfrentam desafios no treinamento ou apresentam controle fraco. Neste artigo, propomos o ControlNeXt: um método poderoso e eficiente para geração controlável de imagens e vídeos. Primeiramente, projetamos uma arquitetura mais simples e eficiente, substituindo ramos adicionais pesados com custo adicional mínimo em comparação com o modelo base. Essa estrutura concisa também permite que nosso método se integre perfeitamente com outros pesos LoRA, possibilitando a alteração de estilo sem a necessidade de treinamento adicional. Em relação ao treinamento, reduzimos até 90% dos parâmetros aprendíveis em comparação com as alternativas. Além disso, propomos outro método chamado Normalização Cruzada (CN) como substituto para a 'Zero-Convolution' para alcançar uma convergência de treinamento rápida e estável. Realizamos diversos experimentos com diferentes modelos base em imagens e vídeos, demonstrando a robustez de nosso método.

English

Diffusion models have demonstrated remarkable and robust abilities in both image and video generation. To achieve greater control over generated results, researchers introduce additional architectures, such as ControlNet, Adapters and ReferenceNet, to integrate conditioning controls. However, current controllable generation methods often require substantial additional computational resources, especially for video generation, and face challenges in training or exhibit weak control. In this paper, we propose ControlNeXt: a powerful and efficient method for controllable image and video generation. We first design a more straightforward and efficient architecture, replacing heavy additional branches with minimal additional cost compared to the base model. Such a concise structure also allows our method to seamlessly integrate with other LoRA weights, enabling style alteration without the need for additional training. As for training, we reduce up to 90% of learnable parameters compared to the alternatives. Furthermore, we propose another method called Cross Normalization (CN) as a replacement for Zero-Convolution' to achieve fast and stable training convergence. We have conducted various experiments with different base models across images and videos, demonstrating the robustness of our method.