EasyControl: Aggiunta di un controllo efficiente e flessibile per i Transformer di diffusione

EasyControl: Adding Efficient and Flexible Control for Diffusion Transformer

March 10, 2025

Autori: Yuxuan Zhang, Yirui Yuan, Yiren Song, Haofan Wang, Jiaming Liu

cs.AI

Abstract

I recenti progressi nei modelli di diffusione basati su Unet, come ControlNet e IP-Adapter, hanno introdotto meccanismi efficaci di controllo spaziale e tematico. Tuttavia, l’architettura DiT (Diffusion Transformer) continua a presentare difficoltà nel garantire un controllo efficiente e flessibile. Per affrontare questo problema, proponiamo EasyControl, un nuovo framework progettato per unire i transformer di diffusione guidati da condizioni con elevata efficienza e flessibilità. Il nostro framework si basa su tre innovazioni chiave. In primo luogo, introduciamo un modulo leggero di iniezione di condizioni basato su LoRA. Questo modulo elabora i segnali condizionali in modo isolato, fungendo da soluzione plug-and-play. Evita di modificare i pesi del modello di base, garantendo compatibilità con modelli personalizzati e consentendo l’iniezione flessibile di diverse condizioni. È importante sottolineare che questo modulo supporta anche una generalizzazione robusta e armoniosa in contesti zero-shot con più condizioni, anche quando addestrato solo su dati a condizione singola. In secondo luogo, proponiamo un paradigma di addestramento consapevole della posizione. Questo approccio standardizza le condizioni di input a risoluzioni fisse, consentendo la generazione di immagini con rapporti di aspetto arbitrari e risoluzioni flessibili. Allo stesso tempo, ottimizza l’efficienza computazionale, rendendo il framework più pratico per applicazioni reali. In terzo luogo, sviluppiamo un meccanismo di attenzione causale combinato con la tecnica KV Cache, adattato per compiti di generazione condizionale. Questa innovazione riduce significativamente la latenza nella sintesi delle immagini, migliorando l’efficienza complessiva del framework. Attraverso esperimenti estesi, dimostriamo che EasyControl raggiunge prestazioni eccezionali in vari scenari applicativi. Queste innovazioni rendono collettivamente il nostro framework altamente efficiente, flessibile e adatto a un’ampia gamma di compiti.

English

Recent advancements in Unet-based diffusion models, such as ControlNet and IP-Adapter, have introduced effective spatial and subject control mechanisms. However, the DiT (Diffusion Transformer) architecture still struggles with efficient and flexible control. To tackle this issue, we propose EasyControl, a novel framework designed to unify condition-guided diffusion transformers with high efficiency and flexibility. Our framework is built on three key innovations. First, we introduce a lightweight Condition Injection LoRA Module. This module processes conditional signals in isolation, acting as a plug-and-play solution. It avoids modifying the base model weights, ensuring compatibility with customized models and enabling the flexible injection of diverse conditions. Notably, this module also supports harmonious and robust zero-shot multi-condition generalization, even when trained only on single-condition data. Second, we propose a Position-Aware Training Paradigm. This approach standardizes input conditions to fixed resolutions, allowing the generation of images with arbitrary aspect ratios and flexible resolutions. At the same time, it optimizes computational efficiency, making the framework more practical for real-world applications. Third, we develop a Causal Attention Mechanism combined with the KV Cache technique, adapted for conditional generation tasks. This innovation significantly reduces the latency of image synthesis, improving the overall efficiency of the framework. Through extensive experiments, we demonstrate that EasyControl achieves exceptional performance across various application scenarios. These innovations collectively make our framework highly efficient, flexible, and suitable for a wide range of tasks.