Resolución de Problemas Inversos con FLAIR

Solving Inverse Problems with FLAIR

June 3, 2025

Autores: Julius Erbach, Dominik Narnhofer, Andreas Dombos, Bernt Schiele, Jan Eric Lenssen, Konrad Schindler

cs.AI

Resumen

Los modelos generativos latentes basados en flujo, como Stable Diffusion 3, son capaces de generar imágenes de calidad notable, incluso permitiendo la generación fotorrealista de texto a imagen. Su impresionante rendimiento sugiere que estos modelos también deberían constituir poderosos previos para problemas de imagen inversa, pero ese enfoque aún no ha alcanzado una fidelidad comparable. Existen varios obstáculos clave: (i) la codificación en un espacio latente de menor dimensionalidad hace que la mapeo subyacente (directo) sea no lineal; (ii) el término de verosimilitud de los datos suele ser intratable; y (iii) los modelos generativos aprendidos tienen dificultades para recuperar modos de datos raros o atípicos durante la inferencia. Presentamos FLAIR, un novedoso marco variacional sin entrenamiento que aprovecha los modelos generativos basados en flujo como un previo para problemas inversos. Para ello, introducimos un objetivo variacional para el emparejamiento de flujo que es agnóstico al tipo de degradación, y lo combinamos con ajustes deterministas de la trayectoria para recuperar modos atípicos. Para garantizar una consistencia exacta con los datos observados, desacoplamos la optimización de los términos de fidelidad de datos y regularización. Además, introducimos un esquema de calibración dependiente del tiempo en el que la fuerza de la regularización se modula según estimaciones de precisión fuera de línea. Los resultados en benchmarks estándar de imágenes demuestran que FLAIR supera consistentemente a los métodos existentes basados en difusión y flujo en términos de calidad de reconstrucción y diversidad de muestras.

English

Flow-based latent generative models such as Stable Diffusion 3 are able to generate images with remarkable quality, even enabling photorealistic text-to-image generation. Their impressive performance suggests that these models should also constitute powerful priors for inverse imaging problems, but that approach has not yet led to comparable fidelity. There are several key obstacles: (i) the encoding into a lower-dimensional latent space makes the underlying (forward) mapping non-linear; (ii) the data likelihood term is usually intractable; and (iii) learned generative models struggle to recover rare, atypical data modes during inference. We present FLAIR, a novel training free variational framework that leverages flow-based generative models as a prior for inverse problems. To that end, we introduce a variational objective for flow matching that is agnostic to the type of degradation, and combine it with deterministic trajectory adjustments to recover atypical modes. To enforce exact consistency with the observed data, we decouple the optimization of the data fidelity and regularization terms. Moreover, we introduce a time-dependent calibration scheme in which the strength of the regularization is modulated according to off-line accuracy estimates. Results on standard imaging benchmarks demonstrate that FLAIR consistently outperforms existing diffusion- and flow-based methods in terms of reconstruction quality and sample diversity.