敵対的フローモデル

要旨

敵対的フロー模型を提案する。この生成モデルは敵対的モデルとフローモデルを統合する。本手法はネイティブな一段階／多段階生成をサポートし、敵対的目標関数で学習される。従来のGANでは生成器がノイズ分布とデータ分布間の任意の輸送計画を学習するが、本手法の生成器は決定論的ノイズ-データ写像を学習し、これはフローマッチング模型と同様の最適輸送に対応する。これにより敵対的学習が大幅に安定化する。また、一貫性ベース手法とは異なり、本モデルは確率流の中間時間ステップを学習する必要なく、直接一段階／少数段階生成を学習する。これにより模型容量の節約、学習反復の削減、誤差蓄積の回避が可能となる。ImageNet-256pxにおける同一1NFE設定下で、我々のB/2模型は一貫性ベースXL/2模型の性能に迫り、XL/2模型は2.38という新たなFID最高値を達成した。更に、中間監督を一切必要とせず深度繰り返しによる56層・112層模型の end-to-end 学習可能性を示し、単一フォワードパスでそれぞれ2.08、1.94のFIDを達成、これらは2NFE/4NFE対応モデルを凌駕する結果となった。

English

We present adversarial flow models, a class of generative models that unifies adversarial models and flow models. Our method supports native one-step or multi-step generation and is trained using the adversarial objective. Unlike traditional GANs, where the generator learns an arbitrary transport plan between the noise and the data distributions, our generator learns a deterministic noise-to-data mapping, which is the same optimal transport as in flow-matching models. This significantly stabilizes adversarial training. Also, unlike consistency-based methods, our model directly learns one-step or few-step generation without needing to learn the intermediate timesteps of the probability flow for propagation. This saves model capacity, reduces training iterations, and avoids error accumulation. Under the same 1NFE setting on ImageNet-256px, our B/2 model approaches the performance of consistency-based XL/2 models, while our XL/2 model creates a new best FID of 2.38. We additionally show the possibility of end-to-end training of 56-layer and 112-layer models through depth repetition without any intermediate supervision, and achieve FIDs of 2.08 and 1.94 using a single forward pass, surpassing their 2NFE and 4NFE counterparts.

敵対的フローモデル

Adversarial Flow Models

要旨

Support