EasyControl: Эффективное и гибкое управление для диффузионных трансформеров

EasyControl: Adding Efficient and Flexible Control for Diffusion Transformer

March 10, 2025

Авторы: Yuxuan Zhang, Yirui Yuan, Yiren Song, Haofan Wang, Jiaming Liu

cs.AI

Аннотация

Недавние достижения в диффузионных моделях на основе Unet, такие как ControlNet и IP-Adapter, представили эффективные механизмы пространственного и предметного управления. Однако архитектура DiT (Diffusion Transformer) по-прежнему испытывает трудности с эффективным и гибким управлением. Для решения этой проблемы мы предлагаем EasyControl — новый фреймворк, предназначенный для объединения управляемых условиями диффузионных трансформеров с высокой эффективностью и гибкостью. Наш фреймворк основан на трех ключевых инновациях. Во-первых, мы представляем легковесный модуль Condition Injection LoRA. Этот модуль обрабатывает условные сигналы изолированно, выступая в качестве plug-and-play решения. Он избегает изменения весов базовой модели, обеспечивая совместимость с кастомизированными моделями и позволяя гибко внедрять разнообразные условия. Примечательно, что этот модуль также поддерживает гармоничную и устойчивую zero-shot генерализацию для множества условий, даже если обучение проводилось только на данных с одним условием. Во-вторых, мы предлагаем Position-Aware Training Paradigm. Этот подход стандартизирует входные условия до фиксированных разрешений, позволяя генерировать изображения с произвольными соотношениями сторон и гибкими разрешениями. Одновременно он оптимизирует вычислительную эффективность, делая фреймворк более практичным для реальных приложений. В-третьих, мы разработали Causal Attention Mechanism в сочетании с техникой KV Cache, адаптированной для задач условной генерации. Эта инновация значительно снижает задержку синтеза изображений, повышая общую эффективность фреймворка. Благодаря обширным экспериментам мы демонстрируем, что EasyControl достигает выдающейся производительности в различных сценариях применения. Эти инновации в совокупности делают наш фреймворк высокоэффективным, гибким и подходящим для широкого круга задач.

English

Recent advancements in Unet-based diffusion models, such as ControlNet and IP-Adapter, have introduced effective spatial and subject control mechanisms. However, the DiT (Diffusion Transformer) architecture still struggles with efficient and flexible control. To tackle this issue, we propose EasyControl, a novel framework designed to unify condition-guided diffusion transformers with high efficiency and flexibility. Our framework is built on three key innovations. First, we introduce a lightweight Condition Injection LoRA Module. This module processes conditional signals in isolation, acting as a plug-and-play solution. It avoids modifying the base model weights, ensuring compatibility with customized models and enabling the flexible injection of diverse conditions. Notably, this module also supports harmonious and robust zero-shot multi-condition generalization, even when trained only on single-condition data. Second, we propose a Position-Aware Training Paradigm. This approach standardizes input conditions to fixed resolutions, allowing the generation of images with arbitrary aspect ratios and flexible resolutions. At the same time, it optimizes computational efficiency, making the framework more practical for real-world applications. Third, we develop a Causal Attention Mechanism combined with the KV Cache technique, adapted for conditional generation tasks. This innovation significantly reduces the latency of image synthesis, improving the overall efficiency of the framework. Through extensive experiments, we demonstrate that EasyControl achieves exceptional performance across various application scenarios. These innovations collectively make our framework highly efficient, flexible, and suitable for a wide range of tasks.