Von SRA zu Self-Flow: Datenaugmentation oder Selbstüberwachung?

Zusammenfassung

Repräsentationsalignment hat sich als effektive Methode erwiesen, um das Training von Diffusionstransformatoren zu beschleunigen und die Generierungsqualität zu verbessern. Neuere Selbstausrichtungsmethoden wie SRA und Self-Flow beseitigen zudem die Abhängigkeit von externen vortrainierten Encodern, indem sie das Alignment innerhalb des Diffusionsmodells selbst konstruieren. Allerdings blieb der Mechanismus hinter der Verbesserung von SRA zu Self-Flow – die Zweizeitplanung – bisher unzureichend untersucht: Self-Flow führt seinen Gewinn auf Interaktionen zwischen Tokens unterschiedlicher Rauschstufen zurück, wobei sauberere Tokens helfen, verrauschteste zu inferieren. In dieser Arbeit überprüfen wir diese Erklärung und fragen, ob der Gewinn stattdessen auf Datenaugmentierung entlang der Rauschdimension zurückzuführen ist. Um diese Faktoren zu entflechten, führen wir die Aufmerksamkeitstrennung ein, die dieselben Dual-Zeitschritt-Eingaben wie Self-Flow beibehält, während die Aufmerksamkeit zwischen Tokens, die unterschiedlichen Rauschstufen zugeordnet sind, blockiert wird. Überraschenderweise verschlechtert das Entfernen dieser Interaktion die Leistung nicht und kann sie sogar verbessern, was darauf hindeutet, dass die Verbesserung von SRA zu Self-Flow hauptsächlich auf Datenaugmentierung zurückgeht. Darüber hinaus zeigen wir, dass die Aufmerksamkeitstrennung selbst einen Augmentierungseffekt erzielt, indem sie ein einzelnes Bild in mehrere effektive Trainingsteile aufteilt, um die Trainingsdaten zu erweitern. Basierend auf diesen Beobachtungen kombinieren wir das Selbstrepräsentationsalignment mit Dual-Zeitschritt- und Aufmerksamkeitstrennungs-Augmentierung und demonstrieren die Wirksamkeit dieses Designs auf ImageNet.

English

Representation alignment has become an effective way to accelerate diffusion transformer training and improve generation quality. Recent self-alignment methods, such as SRA and Self-Flow, further remove the dependency on external pretrained encoders by constructing alignment within the diffusion model itself. However, the mechanism behind the improvement from SRA to Self-Flow, dual-time scheduling, remains under-examined: Self-Flow attributes its gain to interactions between tokens at different noise levels, where cleaner tokens help infer noisier ones. In this work, we revisit this explanation and ask whether the gain instead comes from data augmentation along the noise dimension. To disentangle these factors, we introduce Attention Separation, which preserves the same dual-timestep input as Self-Flow while blocking attention between tokens assigned to different noise levels. Surprisingly, removing such interaction does not degrade performance and can even improve it, suggesting that the improvement from SRA to Self-Flow mainly comes from data augmentation. Furthermore,We show that Attention Separation itself provides an augmentation effect by splitting a single image into multiple effective training parts to expand the training data. Based on these observations, we combine self-representation alignment with dual-timestep and attention-separation augmentation, and demonstrate the effectiveness of this design on ImageNet.