EasyControl: Diffusion Transformer를 위한 효율적이고 유연한 제어 기능 추가

EasyControl: Adding Efficient and Flexible Control for Diffusion Transformer

March 10, 2025

저자: Yuxuan Zhang, Yirui Yuan, Yiren Song, Haofan Wang, Jiaming Liu

cs.AI

초록

Unet 기반 확산 모델(ControlNet 및 IP-Adapter 등)의 최근 발전은 효과적인 공간 및 주체 제어 메커니즘을 도입했습니다. 그러나 DiT(Diffusion Transformer) 아키텍처는 여전히 효율적이고 유연한 제어에 어려움을 겪고 있습니다. 이 문제를 해결하기 위해, 우리는 고효율과 유연성을 갖춘 조건 기반 확산 트랜스포머를 통합하는 새로운 프레임워크인 EasyControl를 제안합니다. 우리의 프레임워크는 세 가지 주요 혁신을 기반으로 구축되었습니다. 첫째, 경량화된 조건 주입 LoRA 모듈을 도입했습니다. 이 모듈은 조건 신호를 독립적으로 처리하며, 플러그 앤 플레이 솔루션으로 작동합니다. 이는 기본 모델 가중치를 수정하지 않으므로 맞춤형 모델과의 호환성을 보장하고 다양한 조건의 유연한 주입을 가능하게 합니다. 특히, 이 모듈은 단일 조건 데이터로만 훈련되었을 때도 조화롭고 강력한 제로샷 다중 조건 일반화를 지원합니다. 둘째, 위치 인식 훈련 패러다임을 제안했습니다. 이 접근법은 입력 조건을 고정 해상도로 표준화하여 임의의 종횡비와 유연한 해상도의 이미지 생성을 가능하게 합니다. 동시에 계산 효율성을 최적화하여 프레임워크를 실제 응용에 더 실용적으로 만듭니다. 셋째, 조건 생성 작업에 적합한 KV 캐시 기술과 결합된 인과적 주의 메커니즘을 개발했습니다. 이 혁신은 이미지 합성의 지연 시간을 크게 줄여 프레임워크의 전반적인 효율성을 향상시킵니다. 광범위한 실험을 통해 EasyControl가 다양한 응용 시나리오에서 탁월한 성능을 달성함을 입증했습니다. 이러한 혁신들은 우리의 프레임워크를 고효율적이고 유연하며 다양한 작업에 적합하도록 만듭니다.

English

Recent advancements in Unet-based diffusion models, such as ControlNet and IP-Adapter, have introduced effective spatial and subject control mechanisms. However, the DiT (Diffusion Transformer) architecture still struggles with efficient and flexible control. To tackle this issue, we propose EasyControl, a novel framework designed to unify condition-guided diffusion transformers with high efficiency and flexibility. Our framework is built on three key innovations. First, we introduce a lightweight Condition Injection LoRA Module. This module processes conditional signals in isolation, acting as a plug-and-play solution. It avoids modifying the base model weights, ensuring compatibility with customized models and enabling the flexible injection of diverse conditions. Notably, this module also supports harmonious and robust zero-shot multi-condition generalization, even when trained only on single-condition data. Second, we propose a Position-Aware Training Paradigm. This approach standardizes input conditions to fixed resolutions, allowing the generation of images with arbitrary aspect ratios and flexible resolutions. At the same time, it optimizes computational efficiency, making the framework more practical for real-world applications. Third, we develop a Causal Attention Mechanism combined with the KV Cache technique, adapted for conditional generation tasks. This innovation significantly reduces the latency of image synthesis, improving the overall efficiency of the framework. Through extensive experiments, we demonstrate that EasyControl achieves exceptional performance across various application scenarios. These innovations collectively make our framework highly efficient, flexible, and suitable for a wide range of tasks.