Resolução de Problemas Inversos com FLAIR

Solving Inverse Problems with FLAIR

June 3, 2025

Autores: Julius Erbach, Dominik Narnhofer, Andreas Dombos, Bernt Schiele, Jan Eric Lenssen, Konrad Schindler

cs.AI

Resumo

Modelos generativos latentes baseados em fluxo, como o Stable Diffusion 3, são capazes de gerar imagens com qualidade notável, permitindo até mesmo a geração foto-realística de texto para imagem. Seu desempenho impressionante sugere que esses modelos também deveriam constituir priors poderosos para problemas de imagem inversa, mas essa abordagem ainda não alcançou fidelidade comparável. Existem vários obstáculos principais: (i) a codificação em um espaço latente de dimensão reduzida torna o mapeamento (direto) subjacente não linear; (ii) o termo de verossimilhança dos dados geralmente é intratável; e (iii) modelos generativos aprendidos têm dificuldade em recuperar modos de dados raros e atípicos durante a inferência. Apresentamos o FLAIR, uma nova estrutura variacional livre de treinamento que aproveita modelos generativos baseados em fluxo como prior para problemas inversos. Para isso, introduzimos um objetivo variacional para correspondência de fluxo que é agnóstico ao tipo de degradação e o combinamos com ajustes determinísticos de trajetória para recuperar modos atípicos. Para impor consistência exata com os dados observados, desacoplamos a otimização dos termos de fidelidade dos dados e regularização. Além disso, introduzimos um esquema de calibração dependente do tempo em que a força da regularização é modulada de acordo com estimativas de precisão off-line. Resultados em benchmarks padrão de imagem demonstram que o FLAIR supera consistentemente métodos existentes baseados em difusão e fluxo em termos de qualidade de reconstrução e diversidade de amostras.

English

Flow-based latent generative models such as Stable Diffusion 3 are able to generate images with remarkable quality, even enabling photorealistic text-to-image generation. Their impressive performance suggests that these models should also constitute powerful priors for inverse imaging problems, but that approach has not yet led to comparable fidelity. There are several key obstacles: (i) the encoding into a lower-dimensional latent space makes the underlying (forward) mapping non-linear; (ii) the data likelihood term is usually intractable; and (iii) learned generative models struggle to recover rare, atypical data modes during inference. We present FLAIR, a novel training free variational framework that leverages flow-based generative models as a prior for inverse problems. To that end, we introduce a variational objective for flow matching that is agnostic to the type of degradation, and combine it with deterministic trajectory adjustments to recover atypical modes. To enforce exact consistency with the observed data, we decouple the optimization of the data fidelity and regularization terms. Moreover, we introduce a time-dependent calibration scheme in which the strength of the regularization is modulated according to off-line accuracy estimates. Results on standard imaging benchmarks demonstrate that FLAIR consistently outperforms existing diffusion- and flow-based methods in terms of reconstruction quality and sample diversity.