FLAIR를 활용한 역문제 해결

Solving Inverse Problems with FLAIR

June 3, 2025

저자: Julius Erbach, Dominik Narnhofer, Andreas Dombos, Bernt Schiele, Jan Eric Lenssen, Konrad Schindler

cs.AI

초록

Stable Diffusion 3와 같은 플로우 기반 잠재 생성 모델은 놀라운 품질의 이미지를 생성할 수 있으며, 사실적인 텍스트-이미지 생성도 가능하게 합니다. 이러한 인상적인 성능은 이 모델들이 역 이미징 문제에 대한 강력한 사전 분포로도 작용할 수 있음을 시사하지만, 이 접근법은 아직 비슷한 수준의 정확도를 달성하지 못했습니다. 여기에는 몇 가지 주요 장애 요인이 있습니다: (i) 저차원 잠재 공간으로의 인코딩은 기본적인 (순방향) 매핑을 비선형적으로 만듭니다; (ii) 데이터 가능도 항목은 일반적으로 계산이 불가능합니다; (iii) 학습된 생성 모델은 추론 과정에서 드물고 비전형적인 데이터 모드를 복구하는 데 어려움을 겪습니다. 우리는 FLAIR라는 새로운 학습 없이도 사용 가능한 변분 프레임워크를 제안하며, 이를 통해 플로우 기반 생성 모델을 역 문제에 대한 사전 분포로 활용합니다. 이를 위해, 우리는 퇴화 유형에 구애받지 않는 플로우 매칭을 위한 변분 목적 함수를 도입하고, 이를 결정론적 궤적 조정과 결합하여 비전형적인 모드를 복구합니다. 관측된 데이터와의 정확한 일관성을 강제하기 위해, 데이터 충실도와 정규화 항목의 최적화를 분리합니다. 또한, 오프라인 정확도 추정치에 따라 정규화 강도를 조절하는 시간 의존적 보정 기법을 도입합니다. 표준 이미징 벤치마크에서의 결과는 FLAIR가 재구성 품질과 샘플 다양성 측면에서 기존의 확산 및 플로우 기반 방법들을 지속적으로 능가함을 보여줍니다.

English

Flow-based latent generative models such as Stable Diffusion 3 are able to generate images with remarkable quality, even enabling photorealistic text-to-image generation. Their impressive performance suggests that these models should also constitute powerful priors for inverse imaging problems, but that approach has not yet led to comparable fidelity. There are several key obstacles: (i) the encoding into a lower-dimensional latent space makes the underlying (forward) mapping non-linear; (ii) the data likelihood term is usually intractable; and (iii) learned generative models struggle to recover rare, atypical data modes during inference. We present FLAIR, a novel training free variational framework that leverages flow-based generative models as a prior for inverse problems. To that end, we introduce a variational objective for flow matching that is agnostic to the type of degradation, and combine it with deterministic trajectory adjustments to recover atypical modes. To enforce exact consistency with the observed data, we decouple the optimization of the data fidelity and regularization terms. Moreover, we introduce a time-dependent calibration scheme in which the strength of the regularization is modulated according to off-line accuracy estimates. Results on standard imaging benchmarks demonstrate that FLAIR consistently outperforms existing diffusion- and flow-based methods in terms of reconstruction quality and sample diversity.