AlphaFlow: MeanFlow 모델의 이해와 개선

초록

MeanFlow는 최근 처음부터 학습된 few-step 생성 모델링을 위한 강력한 프레임워크로 부상했지만, 그 성공 요인은 아직 완전히 이해되지 않았습니다. 본 연구에서 우리는 MeanFlow 목적 함수가 자연스럽게 두 부분, 즉 궤적 흐름 매칭(trajectory flow matching)과 궤적 일관성(trajectory consistency)으로 분해됨을 보여줍니다. 그래디언트 분석을 통해 우리는 이 두 항이 강한 음의 상관관계를 보여 최적화 충돌과 느린 수렴을 초래한다는 사실을 발견했습니다. 이러한 통찰을 바탕으로 우리는 궤적 흐름 매칭, Shortcut Model, MeanFlow를 하나의 공식으로 통합하는 광범위한 목적 함수 패밀리인 alpha-Flow를 소개합니다. 궤적 흐름 매칭에서 MeanFlow로 부드럽게 변화하는 커리큘럼 전략을 채택함으로써, alpha-Flow는 상충되는 목표를 분리하고 더 나은 수렴을 달성합니다. 클래스 조건부 ImageNet-1K 256x256 데이터를 vanilla DiT 백본으로 처음부터 학습할 때, alpha-Flow는 다양한 규모와 설정에서 MeanFlow를 지속적으로 능가합니다. 우리의 가장 큰 alpha-Flow-XL/2+ 모델은 vanilla DiT 백본을 사용하여 FID 점수 2.58(1-NFE) 및 2.15(2-NFE)로 새로운 최첨단 결과를 달성했습니다.

English

MeanFlow has recently emerged as a powerful framework for few-step generative modeling trained from scratch, but its success is not yet fully understood. In this work, we show that the MeanFlow objective naturally decomposes into two parts: trajectory flow matching and trajectory consistency. Through gradient analysis, we find that these terms are strongly negatively correlated, causing optimization conflict and slow convergence. Motivated by these insights, we introduce alpha-Flow, a broad family of objectives that unifies trajectory flow matching, Shortcut Model, and MeanFlow under one formulation. By adopting a curriculum strategy that smoothly anneals from trajectory flow matching to MeanFlow, alpha-Flow disentangles the conflicting objectives, and achieves better convergence. When trained from scratch on class-conditional ImageNet-1K 256x256 with vanilla DiT backbones, alpha-Flow consistently outperforms MeanFlow across scales and settings. Our largest alpha-Flow-XL/2+ model achieves new state-of-the-art results using vanilla DiT backbones, with FID scores of 2.58 (1-NFE) and 2.15 (2-NFE).

AlphaFlow: MeanFlow 모델의 이해와 개선

AlphaFlow: Understanding and Improving MeanFlow Models

초록

Support