エネルギー誘導フローマッチング

要旨

ピクセル空間の生成モデルは、非可逆潜在圧縮を回避する一方で、高次元空間における大域的な構造と微細なディテールの同時学習を必要とする。標準的なフローマッチングは、ノイズを固定されたクリーン画像エンドポイントへ補間し、スペクトル進化を暗黙的に学習させる。本論文では、移動エンドポイントを用いて粗いものから細かいものへの生成軌跡を明示的にモデル化する、エネルギー誘導フローマッチング（EG-FM）を提案する。具体的には、EG-FMは固定エンドポイントを、低周波画像からクリーン画像へ滑らかに遷移する熱核フィルタリング済みエンドポイントに置き換える。移動エンドポイントに含まれる高周波信号の割合は、画像固有のエネルギー誘導スケジューリングによって解放され、フローマッチングにおける速度場の再ターゲティングをもたらす。本フレームワークは、バックボーンと学習データの変更を必要とせず、学習時と推論時にかかるコストは無視できるほど小さい。実験では、EG-FMは256×256のImageNetクラス条件付き画像生成タスクにおいて、より少ないエポックで一貫して低いFIDを達成し、200エポックでFID 1.55、600エポックでFID 1.45を達成した。さらに、512×512解像度の設定で生成タスクの学習を継続し、わずか40エポックの高解像度適応後にFID 1.58を達成した。加えて、EG-FMをテキストから画像への生成に適用し、GenEvalスコア0.85、DPG-Bench 83.9を達成した。コードは https://github.com/ysng123/EG-FM で公開している。

English

Pixel-space generative models bypass lossy latent compression, yet necessitate joint learning of global structure and fine-grained details in a high-dimensional space. Standard flow matching interpolates noise toward a fixed clean-image endpoint, leaving the spectral evolution to be learned implicitly. In this paper, we introduce Energy-Guided Flow Matching(EG-FM) that explicitly models a coarse-to-fine generative trajectory by moving endpoint. Specifically, EG-FM replaces the fixed endpoint with a heat-kernel-filtered endpoint that evolves smoothly from low-frequency image to clean image. The fraction of high-frequency signal in moving endpoint is released by an image-specific energy-guided scheduling, leading to the re-targeting of velocity in flow matching. Our framework requires no adaptation of the backbone and training data, bringing negligible cost on the training and inference stages. In our experiment, EG-FM consistently achieves lower FID on the ImageNet class-conditional image generation task at 256 times 256 with fewer epochs, reaching an FID of 1.55 at 200 epochs and 1.45 at 600 epochs. We continue training the generation task on the setting of 512 times 512 resolution, yielding a FID of 1.58 after only 40 high-resolution adaptation epochs. Furthermore, we transfer EG-FM on text-to-image generation and achieve 0.85 on GenEval score and 83.9 on DPG-Bench. Code is available at https://github.com/ysng123/EG-FM.