Lösen inverser Probleme mit FLAIR

Solving Inverse Problems with FLAIR

June 3, 2025

Autoren: Julius Erbach, Dominik Narnhofer, Andreas Dombos, Bernt Schiele, Jan Eric Lenssen, Konrad Schindler

cs.AI

Zusammenfassung

Flow-basierte latente generative Modelle wie Stable Diffusion 3 sind in der Lage, Bilder von bemerkenswerter Qualität zu erzeugen und ermöglichen sogar fotorealistische Text-zu-Bild-Generierung. Ihre beeindruckende Leistung legt nahe, dass diese Modelle auch als leistungsstarke Priors für inverse Bildgebungsprobleme dienen sollten, doch dieser Ansatz hat bisher keine vergleichbare Genauigkeit erreicht. Es gibt mehrere zentrale Hindernisse: (i) die Kodierung in einen niedrigdimensionalen latenten Raum macht die zugrunde liegende (vorwärtsgerichtete) Abbildung nichtlinear; (ii) der Datenwahrscheinlichkeitsterm ist in der Regel nicht handhabbar; und (iii) gelernte generative Modelle haben Schwierigkeiten, seltene, atypische Datenmodi während der Inferenz wiederherzustellen. Wir präsentieren FLAIR, ein neuartiges trainingsfreies variationsbasiertes Framework, das flow-basierte generative Modelle als Prior für inverse Probleme nutzt. Dazu führen wir ein variationsbasiertes Ziel für Flow Matching ein, das unabhängig von der Art der Degradation ist, und kombinieren es mit deterministischen Trajektorienanpassungen, um atypische Modi wiederherzustellen. Um eine exakte Konsistenz mit den beobachteten Daten zu gewährleisten, entkoppeln wir die Optimierung der Datenkonsistenz- und Regularisierungsterme. Darüber hinaus führen wir ein zeitabhängiges Kalibrierungsschema ein, bei dem die Stärke der Regularisierung basierend auf Offline-Genauigkeitsschätzungen moduliert wird. Ergebnisse auf Standard-Bildgebungsbenchmarks zeigen, dass FLAIR bestehende Diffusions- und Flow-basierte Methoden in Bezug auf Rekonstruktionsqualität und Probenvielfalt konsequent übertrifft.

English

Flow-based latent generative models such as Stable Diffusion 3 are able to generate images with remarkable quality, even enabling photorealistic text-to-image generation. Their impressive performance suggests that these models should also constitute powerful priors for inverse imaging problems, but that approach has not yet led to comparable fidelity. There are several key obstacles: (i) the encoding into a lower-dimensional latent space makes the underlying (forward) mapping non-linear; (ii) the data likelihood term is usually intractable; and (iii) learned generative models struggle to recover rare, atypical data modes during inference. We present FLAIR, a novel training free variational framework that leverages flow-based generative models as a prior for inverse problems. To that end, we introduce a variational objective for flow matching that is agnostic to the type of degradation, and combine it with deterministic trajectory adjustments to recover atypical modes. To enforce exact consistency with the observed data, we decouple the optimization of the data fidelity and regularization terms. Moreover, we introduce a time-dependent calibration scheme in which the strength of the regularization is modulated according to off-line accuracy estimates. Results on standard imaging benchmarks demonstrate that FLAIR consistently outperforms existing diffusion- and flow-based methods in terms of reconstruction quality and sample diversity.