Hervorming van globale tekstconditionering in diffusietransformers

Rethinking Global Text Conditioning in Diffusion Transformers

February 9, 2026

Auteurs: Nikita Starodubcev, Daniil Pakhomov, Zongze Wu, Ilya Drobyshevskiy, Yuchen Liu, Zhonghao Wang, Yuqian Zhou, Zhe Lin, Dmitry Baranchuk

cs.AI

Samenvatting

Diffusietransformers integreren doorgaans tekstuele informatie via aandachtlagen en een modulatiemechanisme dat gebruikmaakt van een gepoolde tekstembedding. Toch negeren recente benaderingen op tekst gebaseerde modulatie en vertrouwen ze uitsluitend op aandacht. In dit artikel onderzoeken we of op modulatie gebaseerde tekstconditionering noodzakelijk is en of het een prestatievoordeel kan bieden. Onze analyse toont aan dat de gepoolde embedding in haar conventionele gebruik weinig bijdraagt aan de algehele prestaties, wat suggereert dat aandacht alleen over het algemeen voldoende is om promptinformatie getrouw door te geven. Echter, wij tonen aan dat de gepoolde embedding aanzienlijke verbeteringen kan opleveren wanneer ze vanuit een ander perspectief wordt gebruikt – namelijk als richtsnoer om stuurbare verschuivingen naar wenselijkere eigenschappen mogelijk te maken. Deze aanpak is trainingsvrij, eenvoudig te implementeren, veroorzaakt verwaarloosbare runtime-overhead en kan op diverse diffusiemodellen worden toegepast, wat verbeteringen oplevert voor uiteenlopende taken, waaronder tekst-naar-beeld/video-generatie en beeldbewerking.

English

Diffusion transformers typically incorporate textual information via attention layers and a modulation mechanism using a pooled text embedding. Nevertheless, recent approaches discard modulation-based text conditioning and rely exclusively on attention. In this paper, we address whether modulation-based text conditioning is necessary and whether it can provide any performance advantage. Our analysis shows that, in its conventional usage, the pooled embedding contributes little to overall performance, suggesting that attention alone is generally sufficient for faithfully propagating prompt information. However, we reveal that the pooled embedding can provide significant gains when used from a different perspective-serving as guidance and enabling controllable shifts toward more desirable properties. This approach is training-free, simple to implement, incurs negligible runtime overhead, and can be applied to various diffusion models, bringing improvements across diverse tasks, including text-to-image/video generation and image editing.