SRA에서 Self-Flow로: 데이터 증강인가 자기 지도인가?

초록

표현 정렬은 확산 트랜스포머 훈련을 가속화하고 생성 품질을 향상시키는 효과적인 방법이 되었다. 최근 SRA 및 Self-Flow와 같은 자기 정렬 방법은 확산 모델 자체 내에서 정렬을 구성함으로써 외부 사전 훈련 인코더에 대한 의존성을 추가로 제거한다. 그러나 SRA에서 Self-Flow로의 개선, 즉 이중 시간 스케줄링의 메커니즘은 충분히 검토되지 않았다. Self-Flow는 그 이득을 서로 다른 노이즈 수준에서의 토큰 간 상호작용, 즉 더 깨끗한 토큰이 더 노이즈가 많은 토큰을 추론하는 데 도움을 주는 것에 귀속시킨다. 본 연구에서는 이 설명을 재검토하고, 그 이득이 대신 노이즈 차원을 따른 데이터 증강에서 비롯되는 것인지 질문한다. 이러한 요소들을 분리하기 위해, 우리는 Attention Separation을 도입한다. 이는 서로 다른 노이즈 수준에 할당된 토큰 간의 주의(attention)를 차단하면서 Self-Flow와 동일한 이중 시간 단계 입력을 유지한다. 놀랍게도, 이러한 상호작용을 제거해도 성능이 저하되지 않을 뿐만 아니라 오히려 향상시킬 수 있으며, 이는 SRA에서 Self-Flow로의 개선이 주로 데이터 증강에서 비롯됨을 시사한다. 더 나아가, 우리는 Attention Separation 자체가 단일 이미지를 여러 개의 효과적인 훈련 부분으로 분할하여 훈련 데이터를 확장함으로써 증강 효과를 제공한다는 것을 보여준다. 이러한 관찰을 바탕으로, 우리는 자기 표현 정렬을 이중 시간 단계 및 주의 분리 증강과 결합하고, ImageNet에서 이 설계의 효과를 입증한다.

English

Representation alignment has become an effective way to accelerate diffusion transformer training and improve generation quality. Recent self-alignment methods, such as SRA and Self-Flow, further remove the dependency on external pretrained encoders by constructing alignment within the diffusion model itself. However, the mechanism behind the improvement from SRA to Self-Flow, dual-time scheduling, remains under-examined: Self-Flow attributes its gain to interactions between tokens at different noise levels, where cleaner tokens help infer noisier ones. In this work, we revisit this explanation and ask whether the gain instead comes from data augmentation along the noise dimension. To disentangle these factors, we introduce Attention Separation, which preserves the same dual-timestep input as Self-Flow while blocking attention between tokens assigned to different noise levels. Surprisingly, removing such interaction does not degrade performance and can even improve it, suggesting that the improvement from SRA to Self-Flow mainly comes from data augmentation. Furthermore,We show that Attention Separation itself provides an augmentation effect by splitting a single image into multiple effective training parts to expand the training data. Based on these observations, we combine self-representation alignment with dual-timestep and attention-separation augmentation, and demonstrate the effectiveness of this design on ImageNet.