Repenser le conditionnement textuel global dans les transformateurs de diffusion

Rethinking Global Text Conditioning in Diffusion Transformers

February 9, 2026

papers.authors: Nikita Starodubcev, Daniil Pakhomov, Zongze Wu, Ilya Drobyshevskiy, Yuchen Liu, Zhonghao Wang, Yuqian Zhou, Zhe Lin, Dmitry Baranchuk

cs.AI

papers.abstract

Les transformeurs de diffusion intègrent généralement l'information textuelle via des couches d'attention et un mécanisme de modulation utilisant une représentation textuelle agrégée. Néanmoins, les approches récentes abandonnent le conditionnement textuel par modulation et reposent exclusivement sur l'attention. Dans cet article, nous examinons si le conditionnement textuel par modulation est nécessaire et s'il peut procurer un avantage en termes de performance. Notre analyse montre que, dans son usage conventionnel, l'embedding agrégé contribue peu à la performance globale, suggérant que l'attention seule est généralement suffisante pour propager fidèlement l'information des prompts. Cependant, nous révélons que l'embedding agrégé peut apporter des gains significatifs lorsqu'il est utilisé sous un angle différent – en servant de guide et en permettant des déplacements contrôlés vers des propriétés plus souhaitables. Cette approche ne nécessite pas d'apprentissage supplémentaire, est simple à mettre en œuvre, induit une surcharge computationnelle négligeable, et peut être appliquée à divers modèles de diffusion, apportant des améliorations sur diverses tâches, incluant la génération texte-image/vidéo et l'édition d'image.

English

Diffusion transformers typically incorporate textual information via attention layers and a modulation mechanism using a pooled text embedding. Nevertheless, recent approaches discard modulation-based text conditioning and rely exclusively on attention. In this paper, we address whether modulation-based text conditioning is necessary and whether it can provide any performance advantage. Our analysis shows that, in its conventional usage, the pooled embedding contributes little to overall performance, suggesting that attention alone is generally sufficient for faithfully propagating prompt information. However, we reveal that the pooled embedding can provide significant gains when used from a different perspective-serving as guidance and enabling controllable shifts toward more desirable properties. This approach is training-free, simple to implement, incurs negligible runtime overhead, and can be applied to various diffusion models, bringing improvements across diverse tasks, including text-to-image/video generation and image editing.