ControlNeXt: Leistungsstarke und effiziente Steuerung für die Generierung von Bildern und Videos

ControlNeXt: Powerful and Efficient Control for Image and Video Generation

August 12, 2024

Autoren: Bohao Peng, Jian Wang, Yuechen Zhang, Wenbo Li, Ming-Chang Yang, Jiaya Jia

cs.AI

Zusammenfassung

Diffusionsmodelle haben bemerkenswerte und robuste Fähigkeiten sowohl in der Bild- als auch in der Videogenerierung gezeigt. Um eine größere Kontrolle über die generierten Ergebnisse zu erlangen, führen Forscher zusätzliche Architekturen wie ControlNet, Adapter und ReferenceNet ein, um Konditionierungssteuerungen zu integrieren. Allerdings erfordern aktuelle steuerbare Generierungsmethoden oft erhebliche zusätzliche Rechenressourcen, insbesondere für die Videogenerierung, und stehen vor Herausforderungen im Training oder weisen eine schwache Steuerung auf. In diesem Paper schlagen wir ControlNeXt vor: eine leistungsstarke und effiziente Methode für die steuerbare Bild- und Videogenerierung. Zunächst entwerfen wir eine einfachere und effizientere Architektur, die schwere zusätzliche Zweige durch minimale zusätzliche Kosten im Vergleich zum Basismodell ersetzt. Eine solche prägnante Struktur ermöglicht es unserer Methode auch, nahtlos mit anderen LoRA-Gewichten zu integrieren, was eine Stiländerung ohne zusätzliches Training ermöglicht. In Bezug auf das Training reduzieren wir bis zu 90% der lernbaren Parameter im Vergleich zu den Alternativen. Darüber hinaus schlagen wir eine weitere Methode namens Cross-Normalisierung (CN) als Ersatz für Zero-Convolution vor, um eine schnelle und stabile Trainingskonvergenz zu erreichen. Wir haben verschiedene Experimente mit verschiedenen Basismodellen für Bilder und Videos durchgeführt, die die Robustheit unserer Methode zeigen.

English

Diffusion models have demonstrated remarkable and robust abilities in both image and video generation. To achieve greater control over generated results, researchers introduce additional architectures, such as ControlNet, Adapters and ReferenceNet, to integrate conditioning controls. However, current controllable generation methods often require substantial additional computational resources, especially for video generation, and face challenges in training or exhibit weak control. In this paper, we propose ControlNeXt: a powerful and efficient method for controllable image and video generation. We first design a more straightforward and efficient architecture, replacing heavy additional branches with minimal additional cost compared to the base model. Such a concise structure also allows our method to seamlessly integrate with other LoRA weights, enabling style alteration without the need for additional training. As for training, we reduce up to 90% of learnable parameters compared to the alternatives. Furthermore, we propose another method called Cross Normalization (CN) as a replacement for Zero-Convolution' to achieve fast and stable training convergence. We have conducted various experiments with different base models across images and videos, demonstrating the robustness of our method.