FlowOpt: Schnelle Optimierung durch vollständige Ablaufprozesse für trainingsfreie Bearbeitung

FlowOpt: Fast Optimization Through Whole Flow Processes for Training-Free Editing

October 24, 2025

papers.authors: Or Ronai, Vladimir Kulikov, Tomer Michaeli

cs.AI

papers.abstract

Der bemerkenswerte Erfolg von Diffusions- und Flow-Matching-Modellen hat eine Welle von Arbeiten ausgelöst, die sich mit deren Anpassung zur Laufzeit für kontrollierte Generierungsaufgaben befassen. Die Beispiele reichen von Bildbearbeitung über Restaurierung und Kompression bis hin zu Personalisierung. Aufgrund des iterativen Charakters des Sampling-Prozesses in diesen Modellen ist es jedoch rechentechnisch unpraktikabel, gradientenbasierte Optimierung zur direkten Steuerung des am Ende des Prozesses generierten Bildes zu verwenden. Infolgedessen greifen bestehende Methoden typischerweise auf eine separate Manipulation jedes Zeitschritts zurück. Hier stellen wir FlowOpt vor – ein Optimierungsframework nullter Ordnung (gradientenfrei), das den gesamten Flow-Prozess als Black Box behandelt und eine Optimierung über den gesamten Sampling-Pfad ohne Backpropagation durch das Modell ermöglicht. Unsere Methode ist sowohl hocheffizient als auch erlaubt es Nutzern, die Zwischenergebnisse der Optimierung zu verfolgen und bei Bedarf ein frühes Abbrechen durchzuführen. Wir beweisen eine hinreichende Bedingung für die Schrittweite von FlowOpt, unter der die Konvergenz zum globalen Optimum garantiert ist. Wir zeigen weiterhin, wie diese Obergrenze empirisch geschätzt werden kann, um eine angemessene Schrittweite zu wählen. Wir demonstrieren, wie FlowOpt für die Bildbearbeitung eingesetzt werden kann, und präsentieren zwei Optionen: (i) Inversion (Bestimmung des initialen Rauschens, das ein gegebenes Bild erzeugt) und (ii) direktes Lenken des bearbeiteten Bildes, sodass es dem Quellbild ähnlich bleibt, während es einem Ziel-Text-Prompt entspricht. In beiden Fällen erzielt FlowOpt state-of-the-art Ergebnisse bei nahezu gleicher Anzahl von Auswertungen der neuronalen Funktion (NFEs) wie bestehende Methoden. Code und Beispiele sind auf der Projektwebseite verfügbar.

English

The remarkable success of diffusion and flow-matching models has ignited a surge of works on adapting them at test time for controlled generation tasks. Examples range from image editing to restoration, compression and personalization. However, due to the iterative nature of the sampling process in those models, it is computationally impractical to use gradient-based optimization to directly control the image generated at the end of the process. As a result, existing methods typically resort to manipulating each timestep separately. Here we introduce FlowOpt - a zero-order (gradient-free) optimization framework that treats the entire flow process as a black box, enabling optimization through the whole sampling path without backpropagation through the model. Our method is both highly efficient and allows users to monitor the intermediate optimization results and perform early stopping if desired. We prove a sufficient condition on FlowOpt's step-size, under which convergence to the global optimum is guaranteed. We further show how to empirically estimate this upper bound so as to choose an appropriate step-size. We demonstrate how FlowOpt can be used for image editing, showcasing two options: (i) inversion (determining the initial noise that generates a given image), and (ii) directly steering the edited image to be similar to the source image while conforming to a target text prompt. In both cases, FlowOpt achieves state-of-the-art results while using roughly the same number of neural function evaluations (NFEs) as existing methods. Code and examples are available on the project's webpage.