EasyControl : Ajout d'un contrôle efficace et flexible pour les Transformers de diffusion

EasyControl: Adding Efficient and Flexible Control for Diffusion Transformer

March 10, 2025

Auteurs: Yuxuan Zhang, Yirui Yuan, Yiren Song, Haofan Wang, Jiaming Liu

cs.AI

Résumé

Les récentes avancées dans les modèles de diffusion basés sur Unet, tels que ControlNet et IP-Adapter, ont introduit des mécanismes efficaces de contrôle spatial et thématique. Cependant, l'architecture DiT (Diffusion Transformer) rencontre encore des difficultés pour un contrôle à la fois efficace et flexible. Pour résoudre ce problème, nous proposons EasyControl, un nouveau cadre conçu pour unifier les transformers de diffusion guidés par des conditions avec une grande efficacité et flexibilité. Notre cadre repose sur trois innovations clés. Premièrement, nous introduisons un module léger d'injection de conditions LoRA. Ce module traite les signaux conditionnels de manière isolée, agissant comme une solution plug-and-play. Il évite de modifier les poids du modèle de base, garantissant la compatibilité avec des modèles personnalisés et permettant l'injection flexible de diverses conditions. Notamment, ce module supporte également une généralisation harmonieuse et robuste à zéro-shot pour plusieurs conditions, même lorsqu'il est entraîné uniquement sur des données à condition unique. Deuxièmement, nous proposons un paradigme d'entraînement conscient de la position. Cette approche standardise les conditions d'entrée à des résolutions fixes, permettant la génération d'images avec des ratios d'aspect arbitraires et des résolutions flexibles. Parallèlement, elle optimise l'efficacité computationnelle, rendant le cadre plus pratique pour des applications réelles. Troisièmement, nous développons un mécanisme d'attention causale combiné avec la technique de cache KV, adapté pour les tâches de génération conditionnelle. Cette innovation réduit significativement la latence de la synthèse d'images, améliorant l'efficacité globale du cadre. À travers des expériences approfondies, nous démontrons qu'EasyControl atteint des performances exceptionnelles dans divers scénarios d'application. Ces innovations rendent collectivement notre cadre hautement efficace, flexible et adapté à une large gamme de tâches.

English

Recent advancements in Unet-based diffusion models, such as ControlNet and IP-Adapter, have introduced effective spatial and subject control mechanisms. However, the DiT (Diffusion Transformer) architecture still struggles with efficient and flexible control. To tackle this issue, we propose EasyControl, a novel framework designed to unify condition-guided diffusion transformers with high efficiency and flexibility. Our framework is built on three key innovations. First, we introduce a lightweight Condition Injection LoRA Module. This module processes conditional signals in isolation, acting as a plug-and-play solution. It avoids modifying the base model weights, ensuring compatibility with customized models and enabling the flexible injection of diverse conditions. Notably, this module also supports harmonious and robust zero-shot multi-condition generalization, even when trained only on single-condition data. Second, we propose a Position-Aware Training Paradigm. This approach standardizes input conditions to fixed resolutions, allowing the generation of images with arbitrary aspect ratios and flexible resolutions. At the same time, it optimizes computational efficiency, making the framework more practical for real-world applications. Third, we develop a Causal Attention Mechanism combined with the KV Cache technique, adapted for conditional generation tasks. This innovation significantly reduces the latency of image synthesis, improving the overall efficiency of the framework. Through extensive experiments, we demonstrate that EasyControl achieves exceptional performance across various application scenarios. These innovations collectively make our framework highly efficient, flexible, and suitable for a wide range of tasks.