ControlNeXt: Controllo Potente ed Efficiente per la Generazione di Immagini e Video

ControlNeXt: Powerful and Efficient Control for Image and Video Generation

August 12, 2024

Autori: Bohao Peng, Jian Wang, Yuechen Zhang, Wenbo Li, Ming-Chang Yang, Jiaya Jia

cs.AI

Abstract

I modelli di diffusione hanno dimostrato capacità notevoli e robuste sia nella generazione di immagini che di video. Per ottenere un maggiore controllo sui risultati generati, i ricercatori introducono architetture aggiuntive, come ControlNet, Adapters e ReferenceNet, per integrare controlli condizionati. Tuttavia, i metodi attuali di generazione controllata spesso richiedono risorse computazionali aggiuntive significative, specialmente per la generazione di video, e affrontano sfide nell'addestramento o mostrano un controllo debole. In questo articolo, proponiamo ControlNeXt: un metodo potente ed efficiente per la generazione controllata di immagini e video. Inizialmente progettiamo un'architettura più semplice ed efficiente, sostituendo rami aggiuntivi pesanti con un costo aggiuntivo minimo rispetto al modello base. Una struttura così concisa permette inoltre al nostro metodo di integrarsi perfettamente con altri pesi LoRA, consentendo l'alterazione dello stile senza la necessità di un ulteriore addestramento. Per quanto riguarda l'addestramento, riduciamo fino al 90% dei parametri apprendibili rispetto alle alternative. Inoltre, proponiamo un altro metodo chiamato Cross Normalization (CN) come sostituto della Zero-Convolution per ottenere una convergenza rapida e stabile durante l'addestramento. Abbiamo condotto vari esperimenti con diversi modelli base su immagini e video, dimostrando la robustezza del nostro metodo.

English

Diffusion models have demonstrated remarkable and robust abilities in both image and video generation. To achieve greater control over generated results, researchers introduce additional architectures, such as ControlNet, Adapters and ReferenceNet, to integrate conditioning controls. However, current controllable generation methods often require substantial additional computational resources, especially for video generation, and face challenges in training or exhibit weak control. In this paper, we propose ControlNeXt: a powerful and efficient method for controllable image and video generation. We first design a more straightforward and efficient architecture, replacing heavy additional branches with minimal additional cost compared to the base model. Such a concise structure also allows our method to seamlessly integrate with other LoRA weights, enabling style alteration without the need for additional training. As for training, we reduce up to 90% of learnable parameters compared to the alternatives. Furthermore, we propose another method called Cross Normalization (CN) as a replacement for Zero-Convolution' to achieve fast and stable training convergence. We have conducted various experiments with different base models across images and videos, demonstrating the robustness of our method.