Управляемое условное инъектирование без мультимодального внимания: к управляемым трансформерам с линейным вниманием

Gated Condition Injection without Multimodal Attention: Towards Controllable Linear-Attention Transformers

March 29, 2026

Авторы: Yuhe Liu, Zhenxiong Tan, Yujia Hu, Songhua Liu, Xinchao Wang

cs.AI

Аннотация

Последние достижения в области управляемой визуальной генерации на основе диффузионных моделей привели к значительному улучшению качества изображений. Однако эти мощные модели обычно развертываются на облачных серверах из-за их высоких вычислительных требований, что вызывает серьезную озабоченность в отношении конфиденциальности данных пользователей. Чтобы обеспечить безопасную и эффективную генерацию на устройстве, в данной статье мы исследуем управляемые диффузионные модели, построенные на архитектурах с линейным вниманием, которые обеспечивают превосходную масштабируемость и эффективность даже на периферийных устройствах. Тем не менее, наши эксперименты показывают, что существующие фреймворки управляемой генерации, такие как ControlNet и OminiControl, либо не обладают гибкостью для поддержки множественных разнородных типов условий, либо страдают от медленной сходимости на таких моделях с линейным вниманием. Для решения этих проблем мы предлагаем новую структуру управляемой диффузии, адаптированную для базовых архитектур с линейным вниманием, таких как SANA. Основой нашего метода является унифицированный модуль условного управления с затвором, работающий в двухпоточном конвейере, который эффективно интегрирует условные входные данные различных типов, такие как пространственно выровненные и невыровненные сигналы. Многочисленные эксперименты на различных задачах и бенчмарках демонстрируют, что наш подход достигает передовых показателей управляемой генерации на основе моделей с линейным вниманием, превосходя существующие методы по точности и управляемости.

English

Recent advances in diffusion-based controllable visual generation have led to remarkable improvements in image quality. However, these powerful models are typically deployed on cloud servers due to their large computational demands, raising serious concerns about user data privacy. To enable secure and efficient on-device generation, we explore in this paper controllable diffusion models built upon linear attention architectures, which offer superior scalability and efficiency, even on edge devices. Yet, our experiments reveal that existing controllable generation frameworks, such as ControlNet and OminiControl, either lack the flexibility to support multiple heterogeneous condition types or suffer from slow convergence on such linear-attention models. To address these limitations, we propose a novel controllable diffusion framework tailored for linear attention backbones like SANA. The core of our method lies in a unified gated conditioning module working in a dual-path pipeline, which effectively integrates multi-type conditional inputs, such as spatially aligned and non-aligned cues. Extensive experiments on multiple tasks and benchmarks demonstrate that our approach achieves state-of-the-art controllable generation performance based on linear-attention models, surpassing existing methods in terms of fidelity and controllability.