Semantische beeldomkering en bewerking met behulp van rechtgetrokken stochastische differentiaalvergelijkingen.

Semantic Image Inversion and Editing using Rectified Stochastic Differential Equations

October 14, 2024

Auteurs: Litu Rout, Yujia Chen, Nataniel Ruiz, Constantine Caramanis, Sanjay Shakkottai, Wen-Sheng Chu

cs.AI

Samenvatting

Generatieve modellen transformeren willekeurig geluid in afbeeldingen; hun inversie heeft tot doel afbeeldingen terug te transformeren naar gestructureerd geluid voor herstel en bewerking. Dit artikel behandelt twee belangrijke taken: (i) inversie en (ii) bewerking van een echte afbeelding met behulp van stochastische equivalenten van gestroomlijnde stroommodellen (zoals Flux). Hoewel Diffusiemodellen (DM's) recentelijk de generatieve modelleringswereld voor afbeeldingen hebben gedomineerd, presenteren hun inversies uitdagingen op het gebied van nauwkeurigheid en bewerkbaarheid als gevolg van niet-lineariteiten in drift en diffusie. Bestaande state-of-the-art DM inversiebenaderingen vertrouwen op training van extra parameters of optimalisatie van latente variabelen op testtijd; beide zijn in de praktijk kostbaar. Gestroomlijnde stromen (RF's) bieden een veelbelovend alternatief voor diffusiemodellen, maar hun inversie is onderbelicht gebleven. We stellen RF inversie voor met behulp van dynamische optimale controle afgeleid via een lineaire kwadratische regelaar. We bewijzen dat het resulterende vectorveld equivalent is aan een gestroomlijnde stochastische differentiaalvergelijking. Bovendien breiden we ons kader uit om een stochastische sampler te ontwerpen voor Flux. Onze inversiemethode maakt state-of-the-art prestaties mogelijk in inversie en bewerking zonder voorafgaande training, waarbij eerdere werken worden overtroffen in slag-naar-afbeelding synthese en semantische afbeeldingsbewerking, met grootschalige menselijke evaluaties die gebruikersvoorkeur bevestigen.

English

Generative models transform random noise into images; their inversion aims to transform images back to structured noise for recovery and editing. This paper addresses two key tasks: (i) inversion and (ii) editing of a real image using stochastic equivalents of rectified flow models (such as Flux). Although Diffusion Models (DMs) have recently dominated the field of generative modeling for images, their inversion presents faithfulness and editability challenges due to nonlinearities in drift and diffusion. Existing state-of-the-art DM inversion approaches rely on training of additional parameters or test-time optimization of latent variables; both are expensive in practice. Rectified Flows (RFs) offer a promising alternative to diffusion models, yet their inversion has been underexplored. We propose RF inversion using dynamic optimal control derived via a linear quadratic regulator. We prove that the resulting vector field is equivalent to a rectified stochastic differential equation. Additionally, we extend our framework to design a stochastic sampler for Flux. Our inversion method allows for state-of-the-art performance in zero-shot inversion and editing, outperforming prior works in stroke-to-image synthesis and semantic image editing, with large-scale human evaluations confirming user preference.