De SRA a Self-Flow: ¿Aumento de datos o autosupervisión?

Resumen

La alineación de representaciones se ha convertido en una forma eficaz de acelerar el entrenamiento de transformadores de difusión y mejorar la calidad de generación. Métodos recientes de autoalineación, como SRA y Self-Flow, eliminan aún más la dependencia de codificadores preentrenados externos al construir la alineación dentro del propio modelo de difusión. Sin embargo, el mecanismo detrás de la mejora de SRA a Self-Flow, la programación de doble paso temporal, sigue siendo poco examinado: Self-Flow atribuye su mejora a las interacciones entre tokens en diferentes niveles de ruido, donde los tokens más limpios ayudan a inferir los más ruidosos. En este trabajo, revisamos esta explicación y nos preguntamos si la mejora proviene en cambio del aumento de datos a lo largo de la dimensión de ruido. Para desentrañar estos factores, introducimos la Separación de Atención, que preserva la misma entrada de doble paso temporal que Self-Flow mientras bloquea la atención entre tokens asignados a diferentes niveles de ruido. Sorprendentemente, eliminar dicha interacción no degrada el rendimiento e incluso puede mejorarlo, lo que sugiere que la mejora de SRA a Self-Flow proviene principalmente del aumento de datos. Además, mostramos que la Separación de Atención en sí misma proporciona un efecto de aumento al dividir una sola imagen en múltiples partes efectivas de entrenamiento para expandir los datos de entrenamiento. Basándonos en estas observaciones, combinamos la autoalineación de representaciones con el doble paso temporal y el aumento mediante separación de atención, y demostramos la efectividad de este diseño en ImageNet.

English

Representation alignment has become an effective way to accelerate diffusion transformer training and improve generation quality. Recent self-alignment methods, such as SRA and Self-Flow, further remove the dependency on external pretrained encoders by constructing alignment within the diffusion model itself. However, the mechanism behind the improvement from SRA to Self-Flow, dual-time scheduling, remains under-examined: Self-Flow attributes its gain to interactions between tokens at different noise levels, where cleaner tokens help infer noisier ones. In this work, we revisit this explanation and ask whether the gain instead comes from data augmentation along the noise dimension. To disentangle these factors, we introduce Attention Separation, which preserves the same dual-timestep input as Self-Flow while blocking attention between tokens assigned to different noise levels. Surprisingly, removing such interaction does not degrade performance and can even improve it, suggesting that the improvement from SRA to Self-Flow mainly comes from data augmentation. Furthermore,We show that Attention Separation itself provides an augmentation effect by splitting a single image into multiple effective training parts to expand the training data. Based on these observations, we combine self-representation alignment with dual-timestep and attention-separation augmentation, and demonstrate the effectiveness of this design on ImageNet.