Ripensare il condizionamento testuale globale nei Transformer di diffusione

Rethinking Global Text Conditioning in Diffusion Transformers

February 9, 2026

Autori: Nikita Starodubcev, Daniil Pakhomov, Zongze Wu, Ilya Drobyshevskiy, Yuchen Liu, Zhonghao Wang, Yuqian Zhou, Zhe Lin, Dmitry Baranchuk

cs.AI

Abstract

I transformer per la diffusione incorporano tipicamente le informazioni testuali tramite livelli di attenzione e un meccanismo di modulazione che utilizza un embedding testuale aggregato (pooled). Tuttavia, gli approcci recenti abbandonano il condizionamento testuale basato sulla modulazione e si affidano esclusivamente all'attenzione. In questo articolo, ci chiediamo se il condizionamento testuale basato sulla modulazione sia necessario e se possa offrire un qualche vantaggio in termini di prestazioni. La nostra analisi mostra che, nel suo utilizzo convenzionale, l'embedding aggregato contribuisce poco alle prestazioni complessive, suggerendo che la sola attenzione è generalmente sufficiente per propagare fedelmente le informazioni del prompt. Tuttavia, riveliamo che l'embedding aggregato può fornire miglioramenti significativi se utilizzato da una prospettiva diversa: fungendo da guida e abilitando spostamenti controllati verso proprietà più desiderabili. Questo approccio non richiede addestramento aggiuntivo, è semplice da implementare, comporta un overhead computazionale trascurabile e può essere applicato a vari modelli di diffusione, apportando miglioramenti in diverse attività, incluse la generazione testo-immagine/video e l'editing di immagini.

English

Diffusion transformers typically incorporate textual information via attention layers and a modulation mechanism using a pooled text embedding. Nevertheless, recent approaches discard modulation-based text conditioning and rely exclusively on attention. In this paper, we address whether modulation-based text conditioning is necessary and whether it can provide any performance advantage. Our analysis shows that, in its conventional usage, the pooled embedding contributes little to overall performance, suggesting that attention alone is generally sufficient for faithfully propagating prompt information. However, we reveal that the pooled embedding can provide significant gains when used from a different perspective-serving as guidance and enabling controllable shifts toward more desirable properties. This approach is training-free, simple to implement, incurs negligible runtime overhead, and can be applied to various diffusion models, bringing improvements across diverse tasks, including text-to-image/video generation and image editing.