EasyControl: Adicionando Controle Eficiente e Flexível para Transformadores de Difusão

EasyControl: Adding Efficient and Flexible Control for Diffusion Transformer

March 10, 2025

Autores: Yuxuan Zhang, Yirui Yuan, Yiren Song, Haofan Wang, Jiaming Liu

cs.AI

Resumo

Avanços recentes em modelos de difusão baseados em Unet, como ControlNet e IP-Adapter, introduziram mecanismos eficazes de controle espacial e de sujeito. No entanto, a arquitetura DiT (Diffusion Transformer) ainda enfrenta desafios em relação ao controle eficiente e flexível. Para resolver esse problema, propomos o EasyControl, um novo framework projetado para unificar transformers de difusão guiados por condições com alta eficiência e flexibilidade. Nosso framework é construído sobre três inovações principais. Primeiro, introduzimos um Módulo LoRA de Injeção de Condição leve. Este módulo processa sinais condicionais de forma isolada, funcionando como uma solução plug-and-play. Ele evita a modificação dos pesos do modelo base, garantindo compatibilidade com modelos personalizados e permitindo a injeção flexível de diversas condições. Notavelmente, este módulo também suporta generalização robusta e harmoniosa de múltiplas condições em zero-shot, mesmo quando treinado apenas com dados de condição única. Segundo, propomos um Paradigma de Treinamento com Consciência de Posição. Essa abordagem padroniza as condições de entrada para resoluções fixas, permitindo a geração de imagens com proporções arbitrárias e resoluções flexíveis. Ao mesmo tempo, otimiza a eficiência computacional, tornando o framework mais prático para aplicações do mundo real. Terceiro, desenvolvemos um Mecanismo de Atenção Causal combinado com a técnica de KV Cache, adaptado para tarefas de geração condicional. Essa inovação reduz significativamente a latência da síntese de imagens, melhorando a eficiência geral do framework. Por meio de extensos experimentos, demonstramos que o EasyControl alcança desempenho excepcional em diversos cenários de aplicação. Essas inovações, em conjunto, tornam nosso framework altamente eficiente, flexível e adequado para uma ampla gama de tarefas.

English

Recent advancements in Unet-based diffusion models, such as ControlNet and IP-Adapter, have introduced effective spatial and subject control mechanisms. However, the DiT (Diffusion Transformer) architecture still struggles with efficient and flexible control. To tackle this issue, we propose EasyControl, a novel framework designed to unify condition-guided diffusion transformers with high efficiency and flexibility. Our framework is built on three key innovations. First, we introduce a lightweight Condition Injection LoRA Module. This module processes conditional signals in isolation, acting as a plug-and-play solution. It avoids modifying the base model weights, ensuring compatibility with customized models and enabling the flexible injection of diverse conditions. Notably, this module also supports harmonious and robust zero-shot multi-condition generalization, even when trained only on single-condition data. Second, we propose a Position-Aware Training Paradigm. This approach standardizes input conditions to fixed resolutions, allowing the generation of images with arbitrary aspect ratios and flexible resolutions. At the same time, it optimizes computational efficiency, making the framework more practical for real-world applications. Third, we develop a Causal Attention Mechanism combined with the KV Cache technique, adapted for conditional generation tasks. This innovation significantly reduces the latency of image synthesis, improving the overall efficiency of the framework. Through extensive experiments, we demonstrate that EasyControl achieves exceptional performance across various application scenarios. These innovations collectively make our framework highly efficient, flexible, and suitable for a wide range of tasks.