制御された画像生成のためのベクトル場におけるステアリングされた修正フローモデル

Steering Rectified Flow Models in the Vector Field for Controlled Image Generation

November 27, 2024

著者: Maitreya Patel, Song Wen, Dimitris N. Metaxas, Yezhou Yang

cs.AI

要旨

拡散モデル（DMs）は、画像の写実性、画像編集、および逆問題の解決に優れており、分類器を使用しないガイダンスと画像反転技術の支援を受けています。一方で、修正フローモデル（RFMs）はこれらのタスクにおいて未開拓の領域です。既存のDMベースの手法はしばしば追加のトレーニングが必要であり、事前に学習された潜在モデルへの一般化が欠けていたり、性能が低かったり、ODEソルバーおよび反転プロセスを通じた広範な逆伝播による膨大な計算リソースを要求します。本研究では、まずRFMsのベクトル場ダイナミクスの理論的および経験的理解を開発し、効率的にノイズ除去軌跡をガイドする方法を明らかにします。我々の研究結果は、ベクトル場を決定論的かつ勾配フリーな方法でナビゲートできることを示しています。この特性を活用して、我々はFlowChefを提案します。FlowChefは、勾配スキップを活用して制御された画像生成タスクのためにノイズ除去軌跡を誘導するベクトル場を活用し、分類器のガイダンス、線形逆問題、および画像編集に対応する初めての統一フレームワークです。さらに、我々は広範な評価を行い、FlowChefがパフォーマンス、メモリ、および時間要件の面でベースラインを大幅に上回り、新たな最先端の結果を達成することを示しています。プロジェクトページ：https://flowchef.github.io。

English

Diffusion models (DMs) excel in photorealism, image editing, and solving inverse problems, aided by classifier-free guidance and image inversion techniques. However, rectified flow models (RFMs) remain underexplored for these tasks. Existing DM-based methods often require additional training, lack generalization to pretrained latent models, underperform, and demand significant computational resources due to extensive backpropagation through ODE solvers and inversion processes. In this work, we first develop a theoretical and empirical understanding of the vector field dynamics of RFMs in efficiently guiding the denoising trajectory. Our findings reveal that we can navigate the vector field in a deterministic and gradient-free manner. Utilizing this property, we propose FlowChef, which leverages the vector field to steer the denoising trajectory for controlled image generation tasks, facilitated by gradient skipping. FlowChef is a unified framework for controlled image generation that, for the first time, simultaneously addresses classifier guidance, linear inverse problems, and image editing without the need for extra training, inversion, or intensive backpropagation. Finally, we perform extensive evaluations and show that FlowChef significantly outperforms baselines in terms of performance, memory, and time requirements, achieving new state-of-the-art results. Project Page: https://flowchef.github.io.