Inyección de Condiciones Controlada sin Atención Multimodal: Hacia Transformadores de Atención Lineal Controlables
Gated Condition Injection without Multimodal Attention: Towards Controllable Linear-Attention Transformers
March 29, 2026
Autores: Yuhe Liu, Zhenxiong Tan, Yujia Hu, Songhua Liu, Xinchao Wang
cs.AI
Resumen
Los recientes avances en generación visual controlable basada en difusión han conducido a mejoras notables en la calidad de la imagen. Sin embargo, estos potentes modelos suelen implementarse en servidores en la nube debido a sus grandes demandas computacionales, lo que genera serias preocupaciones sobre la privacidad de los datos del usuario. Para permitir una generación segura y eficiente en el dispositivo, exploramos en este artículo modelos de difusión controlables basados en arquitecturas de atención lineal, que ofrecen una escalabilidad y eficiencia superiores, incluso en dispositivos periféricos. No obstante, nuestros experimentos revelan que los marcos de generación controlable existentes, como ControlNet y OminiControl, carecen de la flexibilidad necesaria para admitir múltiples tipos de condiciones heterogéneas o sufren de una convergencia lenta en dichos modelos de atención lineal. Para abordar estas limitaciones, proponemos un novedoso marco de difusión controlable adaptado para arquitecturas de atención lineal como SANA. El núcleo de nuestro método reside en un módulo de condicionamiento unificado con compuerta que funciona en una canalización de doble vía, integrando eficazmente entradas condicionales de múltiples tipos, como claves espacialmente alineadas y no alineadas. Experimentos exhaustivos en múltiples tareas y puntos de referencia demuestran que nuestro enfoque logra un rendimiento de generación controlable de vanguardia basado en modelos de atención lineal, superando a los métodos existentes en términos de fidelidad y capacidad de control.
English
Recent advances in diffusion-based controllable visual generation have led to remarkable improvements in image quality. However, these powerful models are typically deployed on cloud servers due to their large computational demands, raising serious concerns about user data privacy. To enable secure and efficient on-device generation, we explore in this paper controllable diffusion models built upon linear attention architectures, which offer superior scalability and efficiency, even on edge devices. Yet, our experiments reveal that existing controllable generation frameworks, such as ControlNet and OminiControl, either lack the flexibility to support multiple heterogeneous condition types or suffer from slow convergence on such linear-attention models. To address these limitations, we propose a novel controllable diffusion framework tailored for linear attention backbones like SANA. The core of our method lies in a unified gated conditioning module working in a dual-path pipeline, which effectively integrates multi-type conditional inputs, such as spatially aligned and non-aligned cues. Extensive experiments on multiple tasks and benchmarks demonstrate that our approach achieves state-of-the-art controllable generation performance based on linear-attention models, surpassing existing methods in terms of fidelity and controllability.