ControlNeXt: 画像およびビデオ生成のための強力で効率的な制御

ControlNeXt: Powerful and Efficient Control for Image and Video Generation

August 12, 2024

著者: Bohao Peng, Jian Wang, Yuechen Zhang, Wenbo Li, Ming-Chang Yang, Jiaya Jia

cs.AI

要旨

拡散モデルは、画像および動画生成において顕著で堅牢な能力を実証してきました。生成結果に対するより高度な制御を実現するため、研究者たちはControlNet、Adapters、ReferenceNetなどの追加アーキテクチャを導入し、条件付け制御を統合しています。しかし、現在の制御可能な生成手法は、特に動画生成において、大幅な追加計算リソースを必要とし、トレーニングにおける課題や弱い制御に直面しています。本論文では、制御可能な画像および動画生成のための強力で効率的な手法であるControlNeXtを提案します。まず、より簡潔で効率的なアーキテクチャを設計し、ベースモデルと比較して最小限の追加コストで重い追加ブランチを置き換えます。この簡潔な構造により、追加のトレーニングを必要とせずにスタイル変更を可能にする他のLoRA重みとシームレスに統合することができます。トレーニングに関しては、代替手法と比較して最大90%の学習可能なパラメータを削減します。さらに、高速で安定したトレーニング収束を実現するために、Zero-Convolutionの代替としてCross Normalization（CN）と呼ばれる別の手法を提案します。画像と動画にわたるさまざまなベースモデルを用いた実験を行い、本手法の堅牢性を実証しました。

English

Diffusion models have demonstrated remarkable and robust abilities in both image and video generation. To achieve greater control over generated results, researchers introduce additional architectures, such as ControlNet, Adapters and ReferenceNet, to integrate conditioning controls. However, current controllable generation methods often require substantial additional computational resources, especially for video generation, and face challenges in training or exhibit weak control. In this paper, we propose ControlNeXt: a powerful and efficient method for controllable image and video generation. We first design a more straightforward and efficient architecture, replacing heavy additional branches with minimal additional cost compared to the base model. Such a concise structure also allows our method to seamlessly integrate with other LoRA weights, enabling style alteration without the need for additional training. As for training, we reduce up to 90% of learnable parameters compared to the alternatives. Furthermore, we propose another method called Cross Normalization (CN) as a replacement for Zero-Convolution' to achieve fast and stable training convergence. We have conducted various experiments with different base models across images and videos, demonstrating the robustness of our method.