데이터 없이 수행하는 플로우 맵 증류

Flow Map Distillation Without Data

November 24, 2025

저자: Shangyuan Tong, Nanye Ma, Saining Xie, Tommi Jaakkola

cs.AI

초록

최신 흐름 모델은 뛰어난 품질을 달성하지만 느리고 반복적인 샘플링이 필요합니다. 이를 가속화하기 위해 사전 학습된 교사 모델로부터 흐름 맵을 추출할 수 있는데, 이 과정은 기존에는 외부 데이터셋에서 샘플링을 필요로 했습니다. 우리는 이러한 데이터 의존성이 정적 데이터셋이 교사 모델의 전체 생성 능력을 불완전하거나 오히려 일치하지 않게 표현할 수 있어 '교사-데이터 불일치'라는 근본적인 위험을 초래한다고 주장합니다. 이는 흐름 맵 추출의 성공을 위해 데이터에 대한 이러한 의존이 정말 필요한지 의문을 제기하게 합니다. 본 연구에서는 교사 모델이 구조상 반드시 따르는 사전 분포에서만 샘플링하여 불일치 위험을 완전히 회피하는 데이터 무관 대안을 탐구합니다. 이러한 철학의 실현 가능성을 입증하기 위해, 우리는 교사 모델의 샘플링 경로를 예측하면서 높은 정확도를 보장하기 위해 자체 누적 오류를 능동적으로 수정하는 원리 기반 프레임워크를 제안합니다. 우리의 접근 방식은 모든 데이터 기반 방법을 능가하며 상당한 차이로 새로운 최첨단 기술을确立합니다. 구체적으로, SiT-XL/2+REPA로부터 추출한 우리 방법은 ImageNet 256x256에서 1.45, ImageNet 512x512에서 1.49의 인상적인 FID를 단 1회 샘플링으로 달성합니다. 우리의 연구가 생성 모델 가속화를 위한 보다 강력한 패러다임을确立하고, 데이터 없이 흐름 맵 추출을 더 폭넓게 채택하도록 동기를 부여하기를 바랍니다.

English

State-of-the-art flow models achieve remarkable quality but require slow, iterative sampling. To accelerate this, flow maps can be distilled from pre-trained teachers, a procedure that conventionally requires sampling from an external dataset. We argue that this data-dependency introduces a fundamental risk of Teacher-Data Mismatch, as a static dataset may provide an incomplete or even misaligned representation of the teacher's full generative capabilities. This leads us to question whether this reliance on data is truly necessary for successful flow map distillation. In this work, we explore a data-free alternative that samples only from the prior distribution, a distribution the teacher is guaranteed to follow by construction, thereby circumventing the mismatch risk entirely. To demonstrate the practical viability of this philosophy, we introduce a principled framework that learns to predict the teacher's sampling path while actively correcting for its own compounding errors to ensure high fidelity. Our approach surpasses all data-based counterparts and establishes a new state-of-the-art by a significant margin. Specifically, distilling from SiT-XL/2+REPA, our method reaches an impressive FID of 1.45 on ImageNet 256x256, and 1.49 on ImageNet 512x512, both with only 1 sampling step. We hope our work establishes a more robust paradigm for accelerating generative models and motivates the broader adoption of flow map distillation without data.