От SRA к Self-Flow: аугментация данных или самоконтроль?

Аннотация

Выравнивание представлений стало эффективным способом ускорения обучения диффузионных трансформеров и повышения качества генерации. Недавние методы само-выравнивания, такие как SRA и Self-Flow, устраняют зависимость от внешних предобученных кодировщиков, организуя выравнивание внутри самой диффузионной модели. Однако механизм, лежащий в основе улучшения от SRA к Self-Flow, а именно двухвременное планирование, остается недостаточно изученным: Self-Flow объясняет свой прирост взаимодействием между токенами на разных уровнях шума, где более чистые токены помогают предсказывать более зашумленные. В данной работе мы пересматриваем это объяснение и задаемся вопросом, не обусловлен ли прирост, наоборот, аугментацией данных вдоль шумового измерения. Чтобы разделить эти факторы, мы вводим разделение внимания (Attention Separation), которое сохраняет тот же двухвременной вход, что и в Self-Flow, но блокирует внимание между токенами, отнесенными к разным уровням шума. Удивительно, но устранение такого взаимодействия не снижает производительность и может даже улучшить ее, что указывает на то, что улучшение от SRA к Self-Flow в основном связано с аугментацией данных. Кроме того, мы показываем, что само разделение внимания создает эффект аугментации, разбивая одно изображение на несколько эффективных учебных частей для расширения обучающих данных. Основываясь на этих наблюдениях, мы объединяем само-выравнивание представлений с двухвременным шагом и аугментацией на основе разделения внимания и демонстрируем эффективность данной схемы на ImageNet.

English

Representation alignment has become an effective way to accelerate diffusion transformer training and improve generation quality. Recent self-alignment methods, such as SRA and Self-Flow, further remove the dependency on external pretrained encoders by constructing alignment within the diffusion model itself. However, the mechanism behind the improvement from SRA to Self-Flow, dual-time scheduling, remains under-examined: Self-Flow attributes its gain to interactions between tokens at different noise levels, where cleaner tokens help infer noisier ones. In this work, we revisit this explanation and ask whether the gain instead comes from data augmentation along the noise dimension. To disentangle these factors, we introduce Attention Separation, which preserves the same dual-timestep input as Self-Flow while blocking attention between tokens assigned to different noise levels. Surprisingly, removing such interaction does not degrade performance and can even improve it, suggesting that the improvement from SRA to Self-Flow mainly comes from data augmentation. Furthermore,We show that Attention Separation itself provides an augmentation effect by splitting a single image into multiple effective training parts to expand the training data. Based on these observations, we combine self-representation alignment with dual-timestep and attention-separation augmentation, and demonstrate the effectiveness of this design on ImageNet.