Переосмысление глобальных текстовых ограничений в диффузионных трансформаторах

Rethinking Global Text Conditioning in Diffusion Transformers

February 9, 2026

Авторы: Nikita Starodubcev, Daniil Pakhomov, Zongze Wu, Ilya Drobyshevskiy, Yuchen Liu, Zhonghao Wang, Yuqian Zhou, Zhe Lin, Dmitry Baranchuk

cs.AI

Аннотация

Диффузионные трансформаторы обычно интегрируют текстовую информацию с помощью механизма внимания и модуляции, использующей объединенное текстовое embedding. Тем не менее, современные подходы отказываются от текстовой обусловленности на основе модуляции и полагаются исключительно на внимание. В данной работе мы исследуем, является ли модуляционная текстовая обусловленность необходимой и может ли она дать какое-либо преимущество в производительности. Наш анализ показывает, что при традиционном использовании объединенное embedding вносит незначительный вклад в общую производительность, что позволяет предположить, что одного механизма внимания, как правило, достаточно для точной передачи информации из промпта. Однако мы выяснили, что объединенное embedding может обеспечить существенное улучшение, если использовать его с иной точки зрения — в качестве механизма guidance, позволяющего осуществлять контролируемые сдвиги в сторону более желательных свойств. Данный подход не требует дообучения, прост в реализации, влечет пренебрежимо малые вычислительные затраты и может быть применен к различным диффузионным моделям, обеспечивая улучшения в разнообразных задачах, включая генерацию изображений/видео по тексту и редактирование изображений.

English

Diffusion transformers typically incorporate textual information via attention layers and a modulation mechanism using a pooled text embedding. Nevertheless, recent approaches discard modulation-based text conditioning and rely exclusively on attention. In this paper, we address whether modulation-based text conditioning is necessary and whether it can provide any performance advantage. Our analysis shows that, in its conventional usage, the pooled embedding contributes little to overall performance, suggesting that attention alone is generally sufficient for faithfully propagating prompt information. However, we reveal that the pooled embedding can provide significant gains when used from a different perspective-serving as guidance and enabling controllable shifts toward more desirable properties. This approach is training-free, simple to implement, incurs negligible runtime overhead, and can be applied to various diffusion models, bringing improvements across diverse tasks, including text-to-image/video generation and image editing.