RelaCtrl : Contrôle efficace guidé par la pertinence pour les transformateurs de diffusion

RelaCtrl: Relevance-Guided Efficient Control for Diffusion Transformers

February 20, 2025

Auteurs: Ke Cao, Jing Wang, Ao Ma, Jiasong Feng, Zhanjie Zhang, Xuanhua He, Shanyuan Liu, Bo Cheng, Dawei Leng, Yuhui Yin, Jie Zhang

cs.AI

Résumé

Le Transformer de Diffusion joue un rôle central dans l'avancement de la génération texte-image et texte-vidéo, principalement grâce à son évolutivité intrinsèque. Cependant, les méthodes existantes de contrôle par Transformer de Diffusion entraînent des surcoûts significatifs en termes de paramètres et de calcul, et souffrent d'une allocation inefficace des ressources en raison de leur incapacité à prendre en compte la pertinence variable des informations de contrôle à travers les différentes couches du Transformer. Pour remédier à cela, nous proposons le cadre de génération contrôlée efficace et optimisée en ressources, RelaCtrl, permettant une intégration efficiente des signaux de contrôle dans le Transformer de Diffusion. Tout d'abord, nous évaluons la pertinence de chaque couche du Transformer de Diffusion par rapport aux informations de contrôle en mesurant le "Score de Pertinence ControlNet", c'est-à-dire l'impact de sauter chaque couche de contrôle sur la qualité de la génération et l'efficacité du contrôle lors de l'inférence. En fonction de la force de cette pertinence, nous ajustons ensuite le positionnement, l'échelle des paramètres et la capacité de modélisation des couches de contrôle pour réduire les paramètres inutiles et les calculs redondants. De plus, pour améliorer encore l'efficacité, nous remplaçons l'auto-attention et le FFN dans le bloc de copie couramment utilisé par le Two-Dimensional Shuffle Mixer (TDSM) soigneusement conçu, permettant une mise en œuvre efficace à la fois du mélangeur de tokens et du mélangeur de canaux. Les résultats expérimentaux qualitatifs et quantitatifs démontrent que notre approche atteint des performances supérieures avec seulement 15 % des paramètres et de la complexité de calcul par rapport à PixArt-delta. Plus d'exemples sont disponibles sur https://relactrl.github.io/RelaCtrl/.

English

The Diffusion Transformer plays a pivotal role in advancing text-to-image and text-to-video generation, owing primarily to its inherent scalability. However, existing controlled diffusion transformer methods incur significant parameter and computational overheads and suffer from inefficient resource allocation due to their failure to account for the varying relevance of control information across different transformer layers. To address this, we propose the Relevance-Guided Efficient Controllable Generation framework, RelaCtrl, enabling efficient and resource-optimized integration of control signals into the Diffusion Transformer. First, we evaluate the relevance of each layer in the Diffusion Transformer to the control information by assessing the "ControlNet Relevance Score"-i.e., the impact of skipping each control layer on both the quality of generation and the control effectiveness during inference. Based on the strength of the relevance, we then tailor the positioning, parameter scale, and modeling capacity of the control layers to reduce unnecessary parameters and redundant computations. Additionally, to further improve efficiency, we replace the self-attention and FFN in the commonly used copy block with the carefully designed Two-Dimensional Shuffle Mixer (TDSM), enabling efficient implementation of both the token mixer and channel mixer. Both qualitative and quantitative experimental results demonstrate that our approach achieves superior performance with only 15% of the parameters and computational complexity compared to PixArt-delta. More examples are available at https://relactrl.github.io/RelaCtrl/.