Диффузия с прямыми моделями: решение стохастических обратных задач без прямого наблюдения

Diffusion with Forward Models: Solving Stochastic Inverse Problems Without Direct Supervision

June 20, 2023

Авторы: Ayush Tewari, Tianwei Yin, George Cazenavette, Semon Rezchikov, Joshua B. Tenenbaum, Frédo Durand, William T. Freeman, Vincent Sitzmann

cs.AI

Аннотация

Денойзинговые диффузионные модели представляют собой мощный тип генеративных моделей, используемых для захвата сложных распределений реальных сигналов. Однако их применимость ограничена сценариями, где обучающие выборки легко доступны, что не всегда имеет место в реальных приложениях. Например, в обратной графике цель состоит в генерации выборок из распределения 3D-сцен, которые соответствуют заданному изображению, но истинные 3D-сцены недоступны, и доступны только 2D-изображения. Чтобы устранить это ограничение, мы предлагаем новый класс денойзинговых диффузионных вероятностных моделей, которые учатся сэмплировать из распределений сигналов, которые никогда не наблюдаются напрямую. Вместо этого эти сигналы измеряются косвенно через известную дифференцируемую прямую модель, которая производит частичные наблюдения неизвестного сигнала. Наш подход включает интеграцию прямой модели непосредственно в процесс денойзинга. Эта интеграция эффективно связывает генеративное моделирование наблюдений с генеративным моделированием базовых сигналов, позволяя осуществлять сквозное обучение условной генеративной модели над сигналами. В процессе вывода наш подход позволяет сэмплировать из распределения базовых сигналов, которые согласуются с заданным частичным наблюдением. Мы демонстрируем эффективность нашего метода на трех сложных задачах компьютерного зрения. Например, в контексте обратной графики наша модель позволяет напрямую сэмплировать из распределения 3D-сцен, которые соответствуют одному 2D-входному изображению.

English

Denoising diffusion models are a powerful type of generative models used to capture complex distributions of real-world signals. However, their applicability is limited to scenarios where training samples are readily available, which is not always the case in real-world applications. For example, in inverse graphics, the goal is to generate samples from a distribution of 3D scenes that align with a given image, but ground-truth 3D scenes are unavailable and only 2D images are accessible. To address this limitation, we propose a novel class of denoising diffusion probabilistic models that learn to sample from distributions of signals that are never directly observed. Instead, these signals are measured indirectly through a known differentiable forward model, which produces partial observations of the unknown signal. Our approach involves integrating the forward model directly into the denoising process. This integration effectively connects the generative modeling of observations with the generative modeling of the underlying signals, allowing for end-to-end training of a conditional generative model over signals. During inference, our approach enables sampling from the distribution of underlying signals that are consistent with a given partial observation. We demonstrate the effectiveness of our method on three challenging computer vision tasks. For instance, in the context of inverse graphics, our model enables direct sampling from the distribution of 3D scenes that align with a single 2D input image.