Inverse Problemen Oplossen met FLAIR

Solving Inverse Problems with FLAIR

June 3, 2025

Auteurs: Julius Erbach, Dominik Narnhofer, Andreas Dombos, Bernt Schiele, Jan Eric Lenssen, Konrad Schindler

cs.AI

Samenvatting

Flow-based latente generatieve modellen zoals Stable Diffusion 3 zijn in staat om afbeeldingen van opmerkelijke kwaliteit te genereren, zelfs tot het punt van fotorealistische tekst-naar-afbeelding generatie. Hun indrukwekkende prestaties suggereren dat deze modellen ook krachtige priors zouden moeten vormen voor inverse beeldvormingsproblemen, maar die aanpak heeft nog niet geleid tot vergelijkbare nauwkeurigheid. Er zijn verschillende belangrijke obstakels: (i) de codering in een lagere-dimensionale latente ruimte maakt de onderliggende (voorwaartse) afbeelding niet-lineair; (ii) de data likelihood term is meestal onhanteerbaar; en (iii) geleerde generatieve modellen hebben moeite met het herstellen van zeldzame, atypische datamodi tijdens inferentie. Wij presenteren FLAIR, een nieuw trainingsvrij variatief raamwerk dat flow-based generatieve modellen benut als prior voor inverse problemen. Hiertoe introduceren we een variatief doel voor flow matching dat agnostisch is voor het type degradatie, en combineren we dit met deterministische trajectaanpassingen om atypische modi te herstellen. Om exacte consistentie met de waargenomen data af te dwingen, ontkoppelen we de optimalisatie van de data-fidelity en regularisatietermen. Bovendien introduceren we een tijdafhankelijk kalibratieschema waarin de sterkte van de regularisatie wordt gemoduleerd op basis van off-line nauwkeurigheidsschattingen. Resultaten op standaard beeldvormingsbenchmarks tonen aan dat FLAIR consistent beter presteert dan bestaande diffusie- en flow-based methoden wat betreft reconstructiekwaliteit en steekproefdiversiteit.

English

Flow-based latent generative models such as Stable Diffusion 3 are able to generate images with remarkable quality, even enabling photorealistic text-to-image generation. Their impressive performance suggests that these models should also constitute powerful priors for inverse imaging problems, but that approach has not yet led to comparable fidelity. There are several key obstacles: (i) the encoding into a lower-dimensional latent space makes the underlying (forward) mapping non-linear; (ii) the data likelihood term is usually intractable; and (iii) learned generative models struggle to recover rare, atypical data modes during inference. We present FLAIR, a novel training free variational framework that leverages flow-based generative models as a prior for inverse problems. To that end, we introduce a variational objective for flow matching that is agnostic to the type of degradation, and combine it with deterministic trajectory adjustments to recover atypical modes. To enforce exact consistency with the observed data, we decouple the optimization of the data fidelity and regularization terms. Moreover, we introduce a time-dependent calibration scheme in which the strength of the regularization is modulated according to off-line accuracy estimates. Results on standard imaging benchmarks demonstrate that FLAIR consistently outperforms existing diffusion- and flow-based methods in terms of reconstruction quality and sample diversity.