Replanteamiento del Acondicionamiento Textual Global en Transformadores de Difusión

Rethinking Global Text Conditioning in Diffusion Transformers

February 9, 2026

Autores: Nikita Starodubcev, Daniil Pakhomov, Zongze Wu, Ilya Drobyshevskiy, Yuchen Liu, Zhonghao Wang, Yuqian Zhou, Zhe Lin, Dmitry Baranchuk

cs.AI

Resumen

Los transformadores de difusión suelen incorporar información textual mediante capas de atención y un mecanismo de modulación que utiliza una incrustación de texto agrupada. Sin embargo, enfoques recientes descartan el condicionamiento textual basado en modulación y dependen exclusivamente de la atención. En este artículo, abordamos si el condicionamiento textual basado en modulación es necesario y si puede ofrecer alguna ventaja de rendimiento. Nuestro análisis muestra que, en su uso convencional, la incrustación agrupada contribuye poco al rendimiento general, lo que sugiere que la atención por sí sola es generalmente suficiente para propagar fielmente la información del prompt. No obstante, revelamos que la incrustación agrupada puede proporcionar ganancias significativas cuando se utiliza desde una perspectiva diferente: sirviendo como guía y permitiendo desplazamientos controlables hacia propiedades más deseables. Este enfoque no requiere entrenamiento, es simple de implementar, incurre en una sobrecarga computacional insignificante y puede aplicarse a varios modelos de difusión, aportando mejoras en diversas tareas, incluyendo la generación de texto a imagen/video y la edición de imágenes.

English

Diffusion transformers typically incorporate textual information via attention layers and a modulation mechanism using a pooled text embedding. Nevertheless, recent approaches discard modulation-based text conditioning and rely exclusively on attention. In this paper, we address whether modulation-based text conditioning is necessary and whether it can provide any performance advantage. Our analysis shows that, in its conventional usage, the pooled embedding contributes little to overall performance, suggesting that attention alone is generally sufficient for faithfully propagating prompt information. However, we reveal that the pooled embedding can provide significant gains when used from a different perspective-serving as guidance and enabling controllable shifts toward more desirable properties. This approach is training-free, simple to implement, incurs negligible runtime overhead, and can be applied to various diffusion models, bringing improvements across diverse tasks, including text-to-image/video generation and image editing.