Steuerung korrigierter Flussmodelle im Vektorfeld für kontrollierte Bildgenerierung

Steering Rectified Flow Models in the Vector Field for Controlled Image Generation

November 27, 2024

Autoren: Maitreya Patel, Song Wen, Dimitris N. Metaxas, Yezhou Yang

cs.AI

Zusammenfassung

Diffusionsmodelle (DMs) zeichnen sich durch ihre fotorealistische Darstellung, Bildbearbeitung und Lösung inverser Probleme aus, unterstützt durch leitlinienfreie Führung und Bildumkehrtechniken. Allerdings sind rektifizierte Flussmodelle (RFMs) für diese Aufgaben noch wenig erforscht. Bestehende DM-basierte Methoden erfordern häufig zusätzliches Training, weisen eine mangelnde Verallgemeinerung auf vortrainierte latente Modelle auf, erbringen unterdurchschnittliche Leistungen und erfordern aufgrund umfangreicher Rückpropagierung durch ODE-Löser und Umkehrprozesse erhebliche Rechenressourcen. In dieser Arbeit entwickeln wir zunächst ein theoretisches und empirisches Verständnis der Vektorfelddynamik von RFMs, um die Denoising-Trajektorie effizient zu lenken. Unsere Ergebnisse zeigen, dass wir das Vektorfeld auf deterministische und gradientenfreie Weise navigieren können. Unter Nutzung dieser Eigenschaft schlagen wir FlowChef vor, das das Vektorfeld nutzt, um die Denoising-Trajektorie für kontrollierte Bildgenerierungsaufgaben zu lenken, unterstützt durch Gradientensprünge. FlowChef ist ein einheitlicher Rahmen für kontrollierte Bildgenerierung, der erstmals gleichzeitig Klassifiziererführung, lineare inverse Probleme und Bildbearbeitung ohne zusätzliches Training, Umkehrung oder intensive Rückpropagierung behandelt. Abschließend führen wir umfangreiche Evaluationen durch und zeigen, dass FlowChef in Bezug auf Leistung, Speicher und Zeitbedarf signifikant besser abschneidet als Baselines und neue Spitzenleistungen erzielt. Projektseite: https://flowchef.github.io.

English

Diffusion models (DMs) excel in photorealism, image editing, and solving inverse problems, aided by classifier-free guidance and image inversion techniques. However, rectified flow models (RFMs) remain underexplored for these tasks. Existing DM-based methods often require additional training, lack generalization to pretrained latent models, underperform, and demand significant computational resources due to extensive backpropagation through ODE solvers and inversion processes. In this work, we first develop a theoretical and empirical understanding of the vector field dynamics of RFMs in efficiently guiding the denoising trajectory. Our findings reveal that we can navigate the vector field in a deterministic and gradient-free manner. Utilizing this property, we propose FlowChef, which leverages the vector field to steer the denoising trajectory for controlled image generation tasks, facilitated by gradient skipping. FlowChef is a unified framework for controlled image generation that, for the first time, simultaneously addresses classifier guidance, linear inverse problems, and image editing without the need for extra training, inversion, or intensive backpropagation. Finally, we perform extensive evaluations and show that FlowChef significantly outperforms baselines in terms of performance, memory, and time requirements, achieving new state-of-the-art results. Project Page: https://flowchef.github.io.