FlowOpt: Ottimizzazione Rapida Attraverso l'Intero Processo di Flusso per l'Editing Senza Addestramento

FlowOpt: Fast Optimization Through Whole Flow Processes for Training-Free Editing

October 24, 2025

Autori: Or Ronai, Vladimir Kulikov, Tomer Michaeli

cs.AI

Abstract

Il notevole successo dei modelli di diffusione e di flusso corrispondente (flow-matching) ha innescato un'impennata di lavori che mirano ad adattarli in fase di test per compiti di generazione controllata. Gli esempi spaziano dall'editing di immagini al restauro, alla compressione e alla personalizzazione. Tuttavia, a causa della natura iterativa del processo di campionamento in questi modelli, è computazionalmente impraticabile utilizzare l'ottimizzazione basata sul gradiente per controllare direttamente l'immagine generata al termine del processo. Di conseguenza, i metodi esistenti ricorrono tipicamente alla manipolazione di ogni singolo passo temporale. In questo lavoro introduciamo FlowOpt, un framework di ottimizzazione di ordine zero (privo di gradienti) che tratta l'intero processo di flusso come una scatola nera, consentendo l'ottimizzazione attraverso l'intero percorso di campionamento senza retropropagazione attraverso il modello. Il nostro metodo è sia altamente efficiente, sia consente agli utenti di monitorare i risultati intermedi dell'ottimizzazione ed effettuare un arresto anticipato se desiderato. Dimostriamo una condizione sufficiente sulla dimensione del passo di FlowOpt, sotto la quale è garantita la convergenza verso l'ottimo globale. Mostriamo inoltre come stimare empiricamente questo limite superiore per scegliere una dimensione del passo appropriata. Dimostriamo come FlowOpt possa essere utilizzato per l'editing di immagini, presentando due opzioni: (i) inversione (determinare il rumore iniziale che genera una determinata immagine) e (ii) guidare direttamente l'immagine modificata in modo che sia simile all'immagine sorgente rispettando al contempo un prompt testuale di destinazione. In entrambi i casi, FlowOpt ottiene risultati all'avanguardia utilizzando approssimativamente lo stesso numero di valutazioni di funzioni neurali (NFE) dei metodi esistenti. Il codice e gli esempi sono disponibili sulla pagina web del progetto.

English

The remarkable success of diffusion and flow-matching models has ignited a surge of works on adapting them at test time for controlled generation tasks. Examples range from image editing to restoration, compression and personalization. However, due to the iterative nature of the sampling process in those models, it is computationally impractical to use gradient-based optimization to directly control the image generated at the end of the process. As a result, existing methods typically resort to manipulating each timestep separately. Here we introduce FlowOpt - a zero-order (gradient-free) optimization framework that treats the entire flow process as a black box, enabling optimization through the whole sampling path without backpropagation through the model. Our method is both highly efficient and allows users to monitor the intermediate optimization results and perform early stopping if desired. We prove a sufficient condition on FlowOpt's step-size, under which convergence to the global optimum is guaranteed. We further show how to empirically estimate this upper bound so as to choose an appropriate step-size. We demonstrate how FlowOpt can be used for image editing, showcasing two options: (i) inversion (determining the initial noise that generates a given image), and (ii) directly steering the edited image to be similar to the source image while conforming to a target text prompt. In both cases, FlowOpt achieves state-of-the-art results while using roughly the same number of neural function evaluations (NFEs) as existing methods. Code and examples are available on the project's webpage.