FlowOpt: Быстрая оптимизация через сквозные процессы потока для редактирования без обучения

FlowOpt: Fast Optimization Through Whole Flow Processes for Training-Free Editing

October 24, 2025

Авторы: Or Ronai, Vladimir Kulikov, Tomer Michaeli

cs.AI

Аннотация

Выдающийся успех диффузионных моделей и моделей согласования потоков вызвал всплеск работ по их адаптации во время тестирования для задач контролируемой генерации. Примеры варьируются от редактирования изображений до их восстановления, сжатия и персонализации. Однако из-за итеративной природы процесса семплирования в этих моделях вычислительно непрактично использовать градиентную оптимизацию для прямого управления изображением, генерируемым в конце процесса. В результате существующие методы обычно прибегают к раздельному манипулированию каждым шагом по времени. Здесь мы представляем FlowOpt — framework безусловной (безградиентной) оптимизации, который рассматривает весь процесс потока как «черный ящик», позволяя проводить оптимизацию на протяжении всего пути семплирования без обратного распространения через модель. Наш метод является высокоэффективным и позволяет пользователям отслеживать промежуточные результаты оптимизации и при необходимости выполнять досрочную остановку. Мы доказываем достаточное условие на размер шага FlowOpt, при котором гарантируется сходимость к глобальному оптимуму. Далее мы показываем, как эмпирически оценить эту верхнюю границу, чтобы выбрать подходящий размер шага. Мы демонстрируем, как FlowOpt можно использовать для редактирования изображений, представляя два варианта: (i) инверсию (определение исходного шума, который генерирует заданное изображение) и (ii) прямое направление отредактированного изображения к сходству с исходным изображением при соответствии целевому текстовому промпту. В обоих случаях FlowOpt достигает результатов уровня последних достижений, используя примерно то же количество оценок нейросетевых функций (NFEs), что и существующие методы. Код и примеры доступны на веб-странице проекта.

English

The remarkable success of diffusion and flow-matching models has ignited a surge of works on adapting them at test time for controlled generation tasks. Examples range from image editing to restoration, compression and personalization. However, due to the iterative nature of the sampling process in those models, it is computationally impractical to use gradient-based optimization to directly control the image generated at the end of the process. As a result, existing methods typically resort to manipulating each timestep separately. Here we introduce FlowOpt - a zero-order (gradient-free) optimization framework that treats the entire flow process as a black box, enabling optimization through the whole sampling path without backpropagation through the model. Our method is both highly efficient and allows users to monitor the intermediate optimization results and perform early stopping if desired. We prove a sufficient condition on FlowOpt's step-size, under which convergence to the global optimum is guaranteed. We further show how to empirically estimate this upper bound so as to choose an appropriate step-size. We demonstrate how FlowOpt can be used for image editing, showcasing two options: (i) inversion (determining the initial noise that generates a given image), and (ii) directly steering the edited image to be similar to the source image while conforming to a target text prompt. In both cases, FlowOpt achieves state-of-the-art results while using roughly the same number of neural function evaluations (NFEs) as existing methods. Code and examples are available on the project's webpage.