SRAからSelf-Flowへ：データ拡張か、自己教師あり学習か？

要旨

表現アライメントは、拡散トランスフォーマーの学習を加速し、生成品質を向上させる効果的な手法となっている。近年のSRAやSelf-Flowなどの自己アライメント手法は、拡散モデル内部でアライメントを構築することで、外部の事前学習済みエンコーダへの依存をさらに排除している。しかし、SRAからSelf-Flowへの改善の背後にあるメカニズム、すなわち二重時間スケジューリング（dual-time scheduling）については、その詳細な検討が十分に行われていない。Self-Flowはその利得を、異なるノイズレベルにおけるトークン間の相互作用に帰しており、よりクリーンなトークンがノイズの多いトークンの推定を助けるとしている。本研究では、この説明を再検討し、その利得が代わりにノイズ次元に沿ったデータ拡張に由来するのではないかという問いを立てる。これらの要因を切り離すために、我々は注意分離（Attention Separation）を導入する。これはSelf-Flowと同じ二重タイムステップ入力を保持しつつ、異なるノイズレベルに割り当てられたトークン間の注意を遮断するものである。驚くべきことに、この相互作用を除去しても性能は低下せず、むしろ向上する場合があり、SRAからSelf-Flowへの改善が主にデータ拡張に起因することを示唆している。さらに、注意分離自体が、単一画像を複数の効果的な学習部分に分割して学習データを拡張するという拡張効果をもたらすことを示す。これらの観察に基づき、自己表現アライメントを二重タイムステップおよび注意分離拡張と組み合わせ、ImageNet上でその設計の有効性を実証する。

English

Representation alignment has become an effective way to accelerate diffusion transformer training and improve generation quality. Recent self-alignment methods, such as SRA and Self-Flow, further remove the dependency on external pretrained encoders by constructing alignment within the diffusion model itself. However, the mechanism behind the improvement from SRA to Self-Flow, dual-time scheduling, remains under-examined: Self-Flow attributes its gain to interactions between tokens at different noise levels, where cleaner tokens help infer noisier ones. In this work, we revisit this explanation and ask whether the gain instead comes from data augmentation along the noise dimension. To disentangle these factors, we introduce Attention Separation, which preserves the same dual-timestep input as Self-Flow while blocking attention between tokens assigned to different noise levels. Surprisingly, removing such interaction does not degrade performance and can even improve it, suggesting that the improvement from SRA to Self-Flow mainly comes from data augmentation. Furthermore,We show that Attention Separation itself provides an augmentation effect by splitting a single image into multiple effective training parts to expand the training data. Based on these observations, we combine self-representation alignment with dual-timestep and attention-separation augmentation, and demonstrate the effectiveness of this design on ImageNet.