データ不要のフローマップ蒸留

Flow Map Distillation Without Data

November 24, 2025

著者: Shangyuan Tong, Nanye Ma, Saining Xie, Tommi Jaakkola

cs.AI

要旨

最先端のフローモデルは卓越した品質を達成するが、遅い反復的なサンプリングを必要とする。これを加速するため、事前学習済み教師モデルからフローマップを蒸留する手法が用いられるが、従来は外部データセットからのサンプリングを要していた。我々は、このデータ依存性が「教師-データ不整合」の根本的リスクを導入すると主張する。静的データセットは、教師モデルの持つ完全な生成能力を不完全あるいは不適切に表現する可能性があるためである。このことから、フローマップ蒸留の成功にデータへの依存が果たして必要かどうかを問い直す。本研究では、事前分布からのみサンプリングするデータ不要の代替手法を探求する。事前分布はモデル構造上、教師モデルが必ず従う分布であるため、不整合リスクを完全に回避できる。この理念の実用性を実証するため、教師のサンプリング経路を予測しつつ、自らの累積誤差を能動的に補正して高忠実度を確保する、原理に基づいた枠組みを提案する。本手法はデータベースの全ての手法を凌駕し、大幅な差で新たな最先端を確立した。具体的には、SiT-XL/2+REPAから蒸留した場合、ImageNet 256x256で1.45、ImageNet 512x512で1.49という驚異的なFIDを、わずか1サンプリングステップで達成した。本研究が、生成モデル加速のより頑健なパラダイムを確立し、データを必要としないフローマップ蒸留の広範な採用を促進することを期待する。

English

State-of-the-art flow models achieve remarkable quality but require slow, iterative sampling. To accelerate this, flow maps can be distilled from pre-trained teachers, a procedure that conventionally requires sampling from an external dataset. We argue that this data-dependency introduces a fundamental risk of Teacher-Data Mismatch, as a static dataset may provide an incomplete or even misaligned representation of the teacher's full generative capabilities. This leads us to question whether this reliance on data is truly necessary for successful flow map distillation. In this work, we explore a data-free alternative that samples only from the prior distribution, a distribution the teacher is guaranteed to follow by construction, thereby circumventing the mismatch risk entirely. To demonstrate the practical viability of this philosophy, we introduce a principled framework that learns to predict the teacher's sampling path while actively correcting for its own compounding errors to ensure high fidelity. Our approach surpasses all data-based counterparts and establishes a new state-of-the-art by a significant margin. Specifically, distilling from SiT-XL/2+REPA, our method reaches an impressive FID of 1.45 on ImageNet 256x256, and 1.49 on ImageNet 512x512, both with only 1 sampling step. We hope our work establishes a more robust paradigm for accelerating generative models and motivates the broader adoption of flow map distillation without data.