Risoluzione di Problemi Inversi con FLAIR

Solving Inverse Problems with FLAIR

June 3, 2025

Autori: Julius Erbach, Dominik Narnhofer, Andreas Dombos, Bernt Schiele, Jan Eric Lenssen, Konrad Schindler

cs.AI

Abstract

I modelli generativi latenti basati su flussi, come Stable Diffusion 3, sono in grado di generare immagini di qualità straordinaria, arrivando persino a consentire la generazione fotorealistica da testo a immagine. Le loro prestazioni impressionanti suggeriscono che questi modelli dovrebbero costituire anche potenti prior per problemi di imaging inverso, ma tale approccio non ha ancora portato a una fedeltà comparabile. Esistono diversi ostacoli chiave: (i) la codifica in uno spazio latente a dimensione inferiore rende la mappatura (diretta) sottostante non lineare; (ii) il termine di verosimiglianza dei dati è solitamente intrattabile; e (iii) i modelli generativi appresi faticano a recuperare modalità di dati rare e atipiche durante l'inferenza. Presentiamo FLAIR, un innovativo framework variazionale senza addestramento che sfrutta i modelli generativi basati su flussi come prior per problemi inversi. A tal fine, introduciamo un obiettivo variazionale per il matching di flussi che è agnostico rispetto al tipo di degrado e lo combiniamo con aggiustamenti deterministici della traiettoria per recuperare modalità atipiche. Per garantire una consistenza esatta con i dati osservati, disaccoppiamo l'ottimizzazione dei termini di fedeltà ai dati e di regolarizzazione. Inoltre, introduciamo uno schema di calibrazione dipendente dal tempo in cui l'intensità della regolarizzazione è modulata in base a stime di accuratezza offline. I risultati su benchmark standard di imaging dimostrano che FLAIR supera costantemente i metodi esistenti basati su diffusione e flussi in termini di qualità della ricostruzione e diversità dei campioni.

English

Flow-based latent generative models such as Stable Diffusion 3 are able to generate images with remarkable quality, even enabling photorealistic text-to-image generation. Their impressive performance suggests that these models should also constitute powerful priors for inverse imaging problems, but that approach has not yet led to comparable fidelity. There are several key obstacles: (i) the encoding into a lower-dimensional latent space makes the underlying (forward) mapping non-linear; (ii) the data likelihood term is usually intractable; and (iii) learned generative models struggle to recover rare, atypical data modes during inference. We present FLAIR, a novel training free variational framework that leverages flow-based generative models as a prior for inverse problems. To that end, we introduce a variational objective for flow matching that is agnostic to the type of degradation, and combine it with deterministic trajectory adjustments to recover atypical modes. To enforce exact consistency with the observed data, we decouple the optimization of the data fidelity and regularization terms. Moreover, we introduce a time-dependent calibration scheme in which the strength of the regularization is modulated according to off-line accuracy estimates. Results on standard imaging benchmarks demonstrate that FLAIR consistently outperforms existing diffusion- and flow-based methods in terms of reconstruction quality and sample diversity.