RelaCtrl: Controle Eficiente Orientado por Relevância para Transformadores de Difusão

RelaCtrl: Relevance-Guided Efficient Control for Diffusion Transformers

February 20, 2025

Autores: Ke Cao, Jing Wang, Ao Ma, Jiasong Feng, Zhanjie Zhang, Xuanhua He, Shanyuan Liu, Bo Cheng, Dawei Leng, Yuhui Yin, Jie Zhang

cs.AI

Resumo

O Diffusion Transformer desempenha um papel fundamental no avanço da geração de texto para imagem e texto para vídeo, principalmente devido à sua escalabilidade inerente. No entanto, os métodos existentes de controle de difusão em transformers acarretam um custo significativo em termos de parâmetros e computação, além de sofrerem com uma alocação ineficiente de recursos devido à falta de consideração da relevância variável das informações de controle em diferentes camadas do transformer. Para resolver isso, propomos o framework de Geração Controlada Eficiente Guiada por Relevância, RelaCtrl, que permite a integração eficiente e otimizada de recursos de sinais de controle no Diffusion Transformer. Primeiro, avaliamos a relevância de cada camada do Diffusion Transformer em relação às informações de controle, calculando a "Pontuação de Relevância do ControlNet" — ou seja, o impacto de pular cada camada de controle tanto na qualidade da geração quanto na eficácia do controle durante a inferência. Com base na força da relevância, ajustamos o posicionamento, a escala de parâmetros e a capacidade de modelagem das camadas de controle para reduzir parâmetros desnecessários e computações redundantes. Além disso, para melhorar ainda mais a eficiência, substituímos o self-attention e o FFN no bloco de cópia comumente usado pelo Two-Dimensional Shuffle Mixer (TDSM), projetado cuidadosamente, permitindo uma implementação eficiente tanto do token mixer quanto do channel mixer. Resultados experimentais qualitativos e quantitativos demonstram que nossa abordagem alcança um desempenho superior com apenas 15% dos parâmetros e complexidade computacional em comparação com o PixArt-delta. Mais exemplos estão disponíveis em https://relactrl.github.io/RelaCtrl/.

English

The Diffusion Transformer plays a pivotal role in advancing text-to-image and text-to-video generation, owing primarily to its inherent scalability. However, existing controlled diffusion transformer methods incur significant parameter and computational overheads and suffer from inefficient resource allocation due to their failure to account for the varying relevance of control information across different transformer layers. To address this, we propose the Relevance-Guided Efficient Controllable Generation framework, RelaCtrl, enabling efficient and resource-optimized integration of control signals into the Diffusion Transformer. First, we evaluate the relevance of each layer in the Diffusion Transformer to the control information by assessing the "ControlNet Relevance Score"-i.e., the impact of skipping each control layer on both the quality of generation and the control effectiveness during inference. Based on the strength of the relevance, we then tailor the positioning, parameter scale, and modeling capacity of the control layers to reduce unnecessary parameters and redundant computations. Additionally, to further improve efficiency, we replace the self-attention and FFN in the commonly used copy block with the carefully designed Two-Dimensional Shuffle Mixer (TDSM), enabling efficient implementation of both the token mixer and channel mixer. Both qualitative and quantitative experimental results demonstrate that our approach achieves superior performance with only 15% of the parameters and computational complexity compared to PixArt-delta. More examples are available at https://relactrl.github.io/RelaCtrl/.