FlowOpt: Otimização Rápida Através de Processos de Fluxo Integral para Edição Livre de Treinamento

FlowOpt: Fast Optimization Through Whole Flow Processes for Training-Free Editing

October 24, 2025

Autores: Or Ronai, Vladimir Kulikov, Tomer Michaeli

cs.AI

Resumo

O notável sucesso dos modelos de difusão e correspondência de fluxo (flow-matching) desencadeou uma onda de trabalhos que os adaptam em tempo de teste para tarefas de geração controlada. Os exemplos variam desde edição de imagens até restauração, compressão e personalização. No entanto, devido à natureza iterativa do processo de amostragem nesses modelos, é computacionalmente impraticável usar otimização baseada em gradiente para controlar diretamente a imagem gerada ao final do processo. Como resultado, os métodos existentes geralmente recorrem à manipulação de cada passo de tempo separadamente. Aqui, introduzimos o FlowOpt - uma estrutura de otimização de ordem zero (livre de gradiente) que trata todo o processo de fluxo como uma caixa preta, permitindo a otimização ao longo de todo o caminho de amostragem sem retropropagação (backpropagation) através do modelo. Nosso método é altamente eficiente e permite que os usuários monitorem os resultados intermediários da otimização e realizem uma parada antecipada, se desejado. Provamos uma condição suficiente para o tamanho do passo do FlowOpt, sob a qual a convergência para o ótimo global é garantida. Mostramos ainda como estimar empiricamente esse limite superior para escolher um tamanho de passo apropriado. Demonstramos como o FlowOpt pode ser usado para edição de imagens, apresentando duas opções: (i) inversão (determinar o ruído inicial que gera uma determinada imagem) e (ii) direcionar diretamente a imagem editada para ser semelhante à imagem de origem, ao mesmo tempo em que se adequa a um prompt de texto de destino. Em ambos os casos, o FlowOpt alcança resultados de última geração (state-of-the-art) usando aproximadamente o mesmo número de avaliações de função neural (NFEs) que os métodos existentes. O código e os exemplos estão disponíveis na página do projeto.

English

The remarkable success of diffusion and flow-matching models has ignited a surge of works on adapting them at test time for controlled generation tasks. Examples range from image editing to restoration, compression and personalization. However, due to the iterative nature of the sampling process in those models, it is computationally impractical to use gradient-based optimization to directly control the image generated at the end of the process. As a result, existing methods typically resort to manipulating each timestep separately. Here we introduce FlowOpt - a zero-order (gradient-free) optimization framework that treats the entire flow process as a black box, enabling optimization through the whole sampling path without backpropagation through the model. Our method is both highly efficient and allows users to monitor the intermediate optimization results and perform early stopping if desired. We prove a sufficient condition on FlowOpt's step-size, under which convergence to the global optimum is guaranteed. We further show how to empirically estimate this upper bound so as to choose an appropriate step-size. We demonstrate how FlowOpt can be used for image editing, showcasing two options: (i) inversion (determining the initial noise that generates a given image), and (ii) directly steering the edited image to be similar to the source image while conforming to a target text prompt. In both cases, FlowOpt achieves state-of-the-art results while using roughly the same number of neural function evaluations (NFEs) as existing methods. Code and examples are available on the project's webpage.