ControlNeXt: Control potente y eficiente para la generación de imágenes y videos.

ControlNeXt: Powerful and Efficient Control for Image and Video Generation

August 12, 2024

Autores: Bohao Peng, Jian Wang, Yuechen Zhang, Wenbo Li, Ming-Chang Yang, Jiaya Jia

cs.AI

Resumen

Los modelos de difusión han demostrado habilidades notables y robustas tanto en la generación de imágenes como de videos. Para lograr un mayor control sobre los resultados generados, los investigadores introducen arquitecturas adicionales, como ControlNet, Adaptadores y ReferenceNet, para integrar controles condicionales. Sin embargo, los métodos actuales de generación controlable a menudo requieren recursos computacionales adicionales sustanciales, especialmente para la generación de videos, y enfrentan desafíos en el entrenamiento o muestran un control débil. En este documento, proponemos ControlNeXt: un método potente y eficiente para la generación controlable de imágenes y videos. Primero diseñamos una arquitectura más sencilla y eficiente, reemplazando ramas adicionales pesadas con un costo adicional mínimo en comparación con el modelo base. Esta estructura concisa también permite que nuestro método se integre sin problemas con otros pesos LoRA, lo que permite la alteración de estilos sin necesidad de entrenamiento adicional. En cuanto al entrenamiento, reducimos hasta un 90% de los parámetros aprendibles en comparación con las alternativas. Además, proponemos otro método llamado Normalización Cruzada (CN) como reemplazo de 'Zero-Convolution' para lograr una convergencia de entrenamiento rápida y estable. Hemos realizado varios experimentos con diferentes modelos base en imágenes y videos, demostrando la robustez de nuestro método.

English

Diffusion models have demonstrated remarkable and robust abilities in both image and video generation. To achieve greater control over generated results, researchers introduce additional architectures, such as ControlNet, Adapters and ReferenceNet, to integrate conditioning controls. However, current controllable generation methods often require substantial additional computational resources, especially for video generation, and face challenges in training or exhibit weak control. In this paper, we propose ControlNeXt: a powerful and efficient method for controllable image and video generation. We first design a more straightforward and efficient architecture, replacing heavy additional branches with minimal additional cost compared to the base model. Such a concise structure also allows our method to seamlessly integrate with other LoRA weights, enabling style alteration without the need for additional training. As for training, we reduce up to 90% of learnable parameters compared to the alternatives. Furthermore, we propose another method called Cross Normalization (CN) as a replacement for Zero-Convolution' to achieve fast and stable training convergence. We have conducted various experiments with different base models across images and videos, demonstrating the robustness of our method.