De SRA à Self-Flow : Augmentation des données ou auto-supervision ?

Résumé

L'alignement des représentations est devenu un moyen efficace pour accélérer l'entraînement des transformateurs de diffusion et améliorer la qualité de génération. Les récentes méthodes d'auto-alignement, telles que SRA et Self-Flow, suppriment en outre la dépendance vis-à-vis des encodeurs pré-entraînés externes en construisant l'alignement au sein du modèle de diffusion lui-même. Cependant, le mécanisme sous-jacent à l'amélioration entre SRA et Self-Flow, la planification à double pas de temps, reste peu étudié : Self-Flow attribue son gain aux interactions entre tokens à différents niveaux de bruit, où les tokens plus propres aident à inférer ceux plus bruités. Dans ce travail, nous réexaminons cette explication et nous demandons si le gain provient plutôt de l'augmentation des données le long de la dimension du bruit. Pour démêler ces facteurs, nous introduisons la Séparation de l'attention, qui préserve la même entrée à double pas de temps que Self-Flow tout en bloquant l'attention entre les tokens assignés à différents niveaux de bruit. Étonnamment, supprimer cette interaction ne dégrade pas la performance et peut même l'améliorer, ce qui suggère que l'amélioration de SRA à Self-Flow provient principalement de l'augmentation des données. De plus, nous montrons que la Séparation de l'attention elle-même offre un effet d'augmentation en divisant une seule image en plusieurs parties d'entraînement efficaces pour élargir les données d'entraînement. Sur la base de ces observations, nous combinons l'auto-alignement des représentations avec l'augmentation par double pas de temps et par séparation de l'attention, et démontrons l'efficacité de cette conception sur ImageNet.

English

Representation alignment has become an effective way to accelerate diffusion transformer training and improve generation quality. Recent self-alignment methods, such as SRA and Self-Flow, further remove the dependency on external pretrained encoders by constructing alignment within the diffusion model itself. However, the mechanism behind the improvement from SRA to Self-Flow, dual-time scheduling, remains under-examined: Self-Flow attributes its gain to interactions between tokens at different noise levels, where cleaner tokens help infer noisier ones. In this work, we revisit this explanation and ask whether the gain instead comes from data augmentation along the noise dimension. To disentangle these factors, we introduce Attention Separation, which preserves the same dual-timestep input as Self-Flow while blocking attention between tokens assigned to different noise levels. Surprisingly, removing such interaction does not degrade performance and can even improve it, suggesting that the improvement from SRA to Self-Flow mainly comes from data augmentation. Furthermore,We show that Attention Separation itself provides an augmentation effect by splitting a single image into multiple effective training parts to expand the training data. Based on these observations, we combine self-representation alignment with dual-timestep and attention-separation augmentation, and demonstrate the effectiveness of this design on ImageNet.