Résolution de problèmes inverses avec FLAIR

Solving Inverse Problems with FLAIR

June 3, 2025

Auteurs: Julius Erbach, Dominik Narnhofer, Andreas Dombos, Bernt Schiele, Jan Eric Lenssen, Konrad Schindler

cs.AI

Résumé

Les modèles génératifs latents basés sur des flux, tels que Stable Diffusion 3, sont capables de générer des images d'une qualité remarquable, permettant même une génération photoréaliste à partir de texte. Leur performance impressionnante suggère que ces modèles devraient également constituer des a priori puissants pour les problèmes d'imagerie inverse, mais cette approche n'a pas encore conduit à une fidélité comparable. Plusieurs obstacles clés se posent : (i) l'encodage dans un espace latent de dimension inférieure rend la cartographie (directe) sous-jacente non linéaire ; (ii) le terme de vraisemblance des données est généralement intraitable ; et (iii) les modèles génératifs appris peinent à retrouver des modes de données rares et atypiques lors de l'inférence. Nous présentons FLAIR, un nouveau cadre variationnel sans entraînement qui exploite les modèles génératifs basés sur des flux comme a priori pour les problèmes inverses. À cette fin, nous introduisons un objectif variationnel pour l'appariement de flux qui est agnostique au type de dégradation, et le combinons avec des ajustements de trajectoire déterministes pour retrouver les modes atypiques. Pour garantir une cohérence exacte avec les données observées, nous découplons l'optimisation des termes de fidélité aux données et de régularisation. De plus, nous introduisons un schéma de calibration dépendant du temps dans lequel l'intensité de la régularisation est modulée en fonction d'estimations de précision hors ligne. Les résultats sur des benchmarks d'imagerie standard démontrent que FLAIR surpasse systématiquement les méthodes existantes basées sur la diffusion et les flux en termes de qualité de reconstruction et de diversité des échantillons.

English

Flow-based latent generative models such as Stable Diffusion 3 are able to generate images with remarkable quality, even enabling photorealistic text-to-image generation. Their impressive performance suggests that these models should also constitute powerful priors for inverse imaging problems, but that approach has not yet led to comparable fidelity. There are several key obstacles: (i) the encoding into a lower-dimensional latent space makes the underlying (forward) mapping non-linear; (ii) the data likelihood term is usually intractable; and (iii) learned generative models struggle to recover rare, atypical data modes during inference. We present FLAIR, a novel training free variational framework that leverages flow-based generative models as a prior for inverse problems. To that end, we introduce a variational objective for flow matching that is agnostic to the type of degradation, and combine it with deterministic trajectory adjustments to recover atypical modes. To enforce exact consistency with the observed data, we decouple the optimization of the data fidelity and regularization terms. Moreover, we introduce a time-dependent calibration scheme in which the strength of the regularization is modulated according to off-line accuracy estimates. Results on standard imaging benchmarks demonstrate that FLAIR consistently outperforms existing diffusion- and flow-based methods in terms of reconstruction quality and sample diversity.