ControlNeXt: Мощное и эффективное управление для генерации изображений и видео.

ControlNeXt: Powerful and Efficient Control for Image and Video Generation

August 12, 2024

Авторы: Bohao Peng, Jian Wang, Yuechen Zhang, Wenbo Li, Ming-Chang Yang, Jiaya Jia

cs.AI

Аннотация

Модели диффузии продемонстрировали выдающиеся и надежные способности как в генерации изображений, так и видео. Для достижения большего контроля над сгенерированными результатами исследователи вводят дополнительные архитектуры, такие как ControlNet, Адаптеры и ReferenceNet, для интеграции управляющих элементов. Однако текущие методы управляемой генерации часто требуют значительных дополнительных вычислительных ресурсов, особенно для генерации видео, и сталкиваются с проблемами в обучении или проявляют слабый контроль. В данной статье мы предлагаем ControlNeXt: мощный и эффективный метод для управляемой генерации изображений и видео. Сначала мы разрабатываем более простую и эффективную архитектуру, заменяя тяжелые дополнительные ветви с минимальными дополнительными затратами по сравнению с базовой моделью. Такая лаконичная структура также позволяет нашему методу без проблем интегрироваться с другими весами LoRA, обеспечивая изменение стиля без необходимости дополнительного обучения. Что касается обучения, мы уменьшаем до 90% обучаемых параметров по сравнению с альтернативами. Более того, мы предлагаем другой метод, называемый Кросс-нормализация (CN), в качестве замены для "нулевой свертки", чтобы достичь быстрой и стабильной сходимости обучения. Мы провели различные эксперименты с различными базовыми моделями на изображениях и видео, демонстрируя устойчивость нашего метода.

English

Diffusion models have demonstrated remarkable and robust abilities in both image and video generation. To achieve greater control over generated results, researchers introduce additional architectures, such as ControlNet, Adapters and ReferenceNet, to integrate conditioning controls. However, current controllable generation methods often require substantial additional computational resources, especially for video generation, and face challenges in training or exhibit weak control. In this paper, we propose ControlNeXt: a powerful and efficient method for controllable image and video generation. We first design a more straightforward and efficient architecture, replacing heavy additional branches with minimal additional cost compared to the base model. Such a concise structure also allows our method to seamlessly integrate with other LoRA weights, enabling style alteration without the need for additional training. As for training, we reduce up to 90% of learnable parameters compared to the alternatives. Furthermore, we propose another method called Cross Normalization (CN) as a replacement for Zero-Convolution' to achieve fast and stable training convergence. We have conducted various experiments with different base models across images and videos, demonstrating the robustness of our method.