Inversión y Edición Semántica de Imágenes utilizando Ecuaciones Diferenciales Estocásticas Rectificadas.

Semantic Image Inversion and Editing using Rectified Stochastic Differential Equations

October 14, 2024

Autores: Litu Rout, Yujia Chen, Nataniel Ruiz, Constantine Caramanis, Sanjay Shakkottai, Wen-Sheng Chu

cs.AI

Resumen

Los modelos generativos transforman ruido aleatorio en imágenes; su inversión tiene como objetivo transformar imágenes de nuevo en ruido estructurado para recuperación y edición. Este documento aborda dos tareas clave: (i) inversión y (ii) edición de una imagen real utilizando equivalentes estocásticos de modelos de flujo rectificado (como Flux). Aunque los Modelos de Difusión (DMs) han dominado recientemente el campo de modelado generativo para imágenes, su inversión presenta desafíos de fidelidad y editabilidad debido a las no linealidades en deriva y difusión. Los enfoques de inversión de DM de vanguardia existentes dependen del entrenamiento de parámetros adicionales u optimización en tiempo de prueba de variables latentes; ambos son costosos en la práctica. Los Flujos Rectificados (RFs) ofrecen una alternativa prometedora a los modelos de difusión, sin embargo, su inversión ha sido poco explorada. Proponemos la inversión de RF utilizando control óptimo dinámico derivado a través de un regulador cuadrático lineal. Demostramos que el campo vectorial resultante es equivalente a una ecuación diferencial estocástica rectificada. Además, ampliamos nuestro marco para diseñar un muestreador estocástico para Flux. Nuestro método de inversión permite un rendimiento de vanguardia en inversión y edición sin entrenamiento previo, superando trabajos anteriores en síntesis de trazos a imagen y edición semántica de imágenes, con evaluaciones humanas a gran escala que confirman la preferencia del usuario.

English

Generative models transform random noise into images; their inversion aims to transform images back to structured noise for recovery and editing. This paper addresses two key tasks: (i) inversion and (ii) editing of a real image using stochastic equivalents of rectified flow models (such as Flux). Although Diffusion Models (DMs) have recently dominated the field of generative modeling for images, their inversion presents faithfulness and editability challenges due to nonlinearities in drift and diffusion. Existing state-of-the-art DM inversion approaches rely on training of additional parameters or test-time optimization of latent variables; both are expensive in practice. Rectified Flows (RFs) offer a promising alternative to diffusion models, yet their inversion has been underexplored. We propose RF inversion using dynamic optimal control derived via a linear quadratic regulator. We prove that the resulting vector field is equivalent to a rectified stochastic differential equation. Additionally, we extend our framework to design a stochastic sampler for Flux. Our inversion method allows for state-of-the-art performance in zero-shot inversion and editing, outperforming prior works in stroke-to-image synthesis and semantic image editing, with large-scale human evaluations confirming user preference.