RelaCtrl: Эффективное управление на основе релевантности для диффузионных трансформеров

RelaCtrl: Relevance-Guided Efficient Control for Diffusion Transformers

February 20, 2025

Авторы: Ke Cao, Jing Wang, Ao Ma, Jiasong Feng, Zhanjie Zhang, Xuanhua He, Shanyuan Liu, Bo Cheng, Dawei Leng, Yuhui Yin, Jie Zhang

cs.AI

Аннотация

Диффузионный Трансформер играет ключевую роль в развитии генерации текста в изображения и текста в видео, в первую очередь благодаря своей внутренней масштабируемости. Однако существующие методы контролируемого диффузионного трансформера требуют значительных параметров и вычислительных ресурсов, а также страдают от неэффективного распределения ресурсов из-за неучета различной значимости управляющей информации на разных слоях трансформера. Для решения этой проблемы мы предлагаем фреймворк Relevance-Guided Efficient Controllable Generation (RelaCtrl), который обеспечивает эффективную и оптимизированную по ресурсам интеграцию управляющих сигналов в Диффузионный Трансформер. Сначала мы оцениваем значимость каждого слоя Диффузионного Трансформера для управляющей информации, вычисляя "Оценку значимости ControlNet" — то есть влияние пропуска каждого управляющего слоя на качество генерации и эффективность управления во время вывода. На основе силы значимости мы затем адаптируем расположение, масштаб параметров и моделирующую способность управляющих слоев, чтобы сократить ненужные параметры и избыточные вычисления. Кроме того, для дальнейшего повышения эффективности мы заменяем self-attention и FFN в обычно используемом копирующем блоке на тщательно разработанный Two-Dimensional Shuffle Mixer (TDSM), что позволяет эффективно реализовать как микшер токенов, так и микшер каналов. Качественные и количественные результаты экспериментов показывают, что наш подход достигает превосходной производительности, используя всего 15% параметров и вычислительной сложности по сравнению с PixArt-delta. Дополнительные примеры доступны по адресу https://relactrl.github.io/RelaCtrl/.

English

The Diffusion Transformer plays a pivotal role in advancing text-to-image and text-to-video generation, owing primarily to its inherent scalability. However, existing controlled diffusion transformer methods incur significant parameter and computational overheads and suffer from inefficient resource allocation due to their failure to account for the varying relevance of control information across different transformer layers. To address this, we propose the Relevance-Guided Efficient Controllable Generation framework, RelaCtrl, enabling efficient and resource-optimized integration of control signals into the Diffusion Transformer. First, we evaluate the relevance of each layer in the Diffusion Transformer to the control information by assessing the "ControlNet Relevance Score"-i.e., the impact of skipping each control layer on both the quality of generation and the control effectiveness during inference. Based on the strength of the relevance, we then tailor the positioning, parameter scale, and modeling capacity of the control layers to reduce unnecessary parameters and redundant computations. Additionally, to further improve efficiency, we replace the self-attention and FFN in the commonly used copy block with the carefully designed Two-Dimensional Shuffle Mixer (TDSM), enabling efficient implementation of both the token mixer and channel mixer. Both qualitative and quantitative experimental results demonstrate that our approach achieves superior performance with only 15% of the parameters and computational complexity compared to PixArt-delta. More examples are available at https://relactrl.github.io/RelaCtrl/.