RelaCtrl: Control Eficiente Guiado por Relevancia para Transformadores de Difusión

RelaCtrl: Relevance-Guided Efficient Control for Diffusion Transformers

February 20, 2025

Autores: Ke Cao, Jing Wang, Ao Ma, Jiasong Feng, Zhanjie Zhang, Xuanhua He, Shanyuan Liu, Bo Cheng, Dawei Leng, Yuhui Yin, Jie Zhang

cs.AI

Resumen

El Transformer de Difusión juega un papel fundamental en el avance de la generación de texto a imagen y texto a video, principalmente debido a su escalabilidad inherente. Sin embargo, los métodos existentes de transformers de difusión controlada incurren en un gasto significativo de parámetros y computación, y sufren de una asignación ineficiente de recursos debido a su incapacidad para considerar la relevancia variable de la información de control en las diferentes capas del transformer. Para abordar esto, proponemos el marco de Generación Controlada Eficiente Guiada por Relevancia, RelaCtrl, que permite una integración eficiente y optimizada en recursos de las señales de control en el Transformer de Difusión. Primero, evaluamos la relevancia de cada capa en el Transformer de Difusión con respecto a la información de control mediante la evaluación del "Puntaje de Relevancia de ControlNet", es decir, el impacto de omitir cada capa de control tanto en la calidad de la generación como en la efectividad del control durante la inferencia. Basándonos en la fuerza de la relevancia, luego adaptamos la posición, la escala de parámetros y la capacidad de modelado de las capas de control para reducir parámetros innecesarios y cálculos redundantes. Además, para mejorar aún más la eficiencia, reemplazamos la auto-atención y la FFN en el bloque de copia comúnmente utilizado con el cuidadosamente diseñado Mezclador de Barajado Bidimensional (TDSM), permitiendo una implementación eficiente tanto del mezclador de tokens como del mezclador de canales. Los resultados experimentales cualitativos y cuantitativos demuestran que nuestro enfoque logra un rendimiento superior con solo el 15% de los parámetros y la complejidad computacional en comparación con PixArt-delta. Más ejemplos están disponibles en https://relactrl.github.io/RelaCtrl/.

English

The Diffusion Transformer plays a pivotal role in advancing text-to-image and text-to-video generation, owing primarily to its inherent scalability. However, existing controlled diffusion transformer methods incur significant parameter and computational overheads and suffer from inefficient resource allocation due to their failure to account for the varying relevance of control information across different transformer layers. To address this, we propose the Relevance-Guided Efficient Controllable Generation framework, RelaCtrl, enabling efficient and resource-optimized integration of control signals into the Diffusion Transformer. First, we evaluate the relevance of each layer in the Diffusion Transformer to the control information by assessing the "ControlNet Relevance Score"-i.e., the impact of skipping each control layer on both the quality of generation and the control effectiveness during inference. Based on the strength of the relevance, we then tailor the positioning, parameter scale, and modeling capacity of the control layers to reduce unnecessary parameters and redundant computations. Additionally, to further improve efficiency, we replace the self-attention and FFN in the commonly used copy block with the carefully designed Two-Dimensional Shuffle Mixer (TDSM), enabling efficient implementation of both the token mixer and channel mixer. Both qualitative and quantitative experimental results demonstrate that our approach achieves superior performance with only 15% of the parameters and computational complexity compared to PixArt-delta. More examples are available at https://relactrl.github.io/RelaCtrl/.