RelaCtrl: Relevanzgesteuerte effiziente Steuerung für Diffusionstransformatoren

RelaCtrl: Relevance-Guided Efficient Control for Diffusion Transformers

February 20, 2025

Autoren: Ke Cao, Jing Wang, Ao Ma, Jiasong Feng, Zhanjie Zhang, Xuanhua He, Shanyuan Liu, Bo Cheng, Dawei Leng, Yuhui Yin, Jie Zhang

cs.AI

Zusammenfassung

Der Diffusion Transformer spielt eine zentrale Rolle bei der Weiterentwicklung der Text-zu-Bild- und Text-zu-Video-Generierung, hauptsächlich aufgrund seiner inhärenten Skalierbarkeit. Allerdings verursachen bestehende Methoden für kontrollierte Diffusion Transformer erheblichen Parameter- und Rechenaufwand und leiden unter ineffizienter Ressourcenallokation, da sie die unterschiedliche Relevanz von Kontrollinformationen über verschiedene Transformer-Schichten hinweg nicht berücksichtigen. Um dies zu beheben, schlagen wir das Relevance-Guided Efficient Controllable Generation Framework, RelaCtrl, vor, das eine effiziente und ressourcenoptimierte Integration von Kontrollsignalen in den Diffusion Transformer ermöglicht. Zunächst bewerten wir die Relevanz jeder Schicht im Diffusion Transformer für die Kontrollinformationen, indem wir den „ControlNet Relevance Score“ ermitteln – d.h. die Auswirkung des Überspringens jeder Kontrollschicht auf sowohl die Generierungsqualität als auch die Kontrolleffektivität während der Inferenz. Basierend auf der Stärke der Relevanz passen wir dann die Positionierung, die Parameterskala und die Modellierungskapazität der Kontrollschichten an, um unnötige Parameter und redundante Berechnungen zu reduzieren. Zusätzlich ersetzen wir, um die Effizienz weiter zu verbessern, die Selbstaufmerksamkeit und das FFN im häufig verwendeten Copy-Block durch den sorgfältig entworfenen Two-Dimensional Shuffle Mixer (TDSM), der eine effiziente Implementierung sowohl des Token-Mixers als auch des Channel-Mixers ermöglicht. Sowohl qualitative als auch quantitative experimentelle Ergebnisse zeigen, dass unser Ansatz mit nur 15 % der Parameter und Rechenkomplexität im Vergleich zu PixArt-delta eine überlegene Leistung erzielt. Weitere Beispiele sind unter https://relactrl.github.io/RelaCtrl/ verfügbar.

English

The Diffusion Transformer plays a pivotal role in advancing text-to-image and text-to-video generation, owing primarily to its inherent scalability. However, existing controlled diffusion transformer methods incur significant parameter and computational overheads and suffer from inefficient resource allocation due to their failure to account for the varying relevance of control information across different transformer layers. To address this, we propose the Relevance-Guided Efficient Controllable Generation framework, RelaCtrl, enabling efficient and resource-optimized integration of control signals into the Diffusion Transformer. First, we evaluate the relevance of each layer in the Diffusion Transformer to the control information by assessing the "ControlNet Relevance Score"-i.e., the impact of skipping each control layer on both the quality of generation and the control effectiveness during inference. Based on the strength of the relevance, we then tailor the positioning, parameter scale, and modeling capacity of the control layers to reduce unnecessary parameters and redundant computations. Additionally, to further improve efficiency, we replace the self-attention and FFN in the commonly used copy block with the carefully designed Two-Dimensional Shuffle Mixer (TDSM), enabling efficient implementation of both the token mixer and channel mixer. Both qualitative and quantitative experimental results demonstrate that our approach achieves superior performance with only 15% of the parameters and computational complexity compared to PixArt-delta. More examples are available at https://relactrl.github.io/RelaCtrl/.