Решение обратных задач с использованием FLAIR

Аннотация

Потоковые латентные генеративные модели, такие как Stable Diffusion 3, способны создавать изображения с выдающимся качеством, включая фотореалистичную генерацию изображений из текста. Их впечатляющая производительность предполагает, что эти модели также могут служить мощными априорными распределениями для обратных задач обработки изображений, однако такой подход пока не привел к сопоставимой точности. Существует несколько ключевых препятствий: (i) кодирование в пространство меньшей размерности делает базовое (прямое) отображение нелинейным; (ii) функция правдоподобия данных обычно является вычислительно сложной; и (iii) обученные генеративные модели испытывают трудности с восстановлением редких, атипичных режимов данных в процессе вывода. Мы представляем FLAIR — новый вариационный фреймворк, не требующий обучения, который использует потоковые генеративные модели в качестве априорного распределения для обратных задач. Для этого мы вводим вариационную целевую функцию для согласования потоков, которая не зависит от типа искажения, и комбинируем её с детерминированными корректировками траекторий для восстановления атипичных режимов. Чтобы обеспечить точное соответствие наблюдаемым данным, мы разделяем оптимизацию терминов точности данных и регуляризации. Кроме того, мы предлагаем временно-зависимую схему калибровки, в которой сила регуляризации модулируется на основе оценок точности, полученных в автономном режиме. Результаты на стандартных бенчмарках обработки изображений демонстрируют, что FLAIR стабильно превосходит существующие методы, основанные на диффузии и потоках, по качеству реконструкции и разнообразию выборок.

English

Flow-based latent generative models such as Stable Diffusion 3 are able to generate images with remarkable quality, even enabling photorealistic text-to-image generation. Their impressive performance suggests that these models should also constitute powerful priors for inverse imaging problems, but that approach has not yet led to comparable fidelity. There are several key obstacles: (i) the encoding into a lower-dimensional latent space makes the underlying (forward) mapping non-linear; (ii) the data likelihood term is usually intractable; and (iii) learned generative models struggle to recover rare, atypical data modes during inference. We present FLAIR, a novel training free variational framework that leverages flow-based generative models as a prior for inverse problems. To that end, we introduce a variational objective for flow matching that is agnostic to the type of degradation, and combine it with deterministic trajectory adjustments to recover atypical modes. To enforce exact consistency with the observed data, we decouple the optimization of the data fidelity and regularization terms. Moreover, we introduce a time-dependent calibration scheme in which the strength of the regularization is modulated according to off-line accuracy estimates. Results on standard imaging benchmarks demonstrate that FLAIR consistently outperforms existing diffusion- and flow-based methods in terms of reconstruction quality and sample diversity.

Решение обратных задач с использованием FLAIR

Solving Inverse Problems with FLAIR

Аннотация

Support