Diffusie met Voorwaartse Modellen: Het Oplossen van Stochastische Inverse Problemen zonder Direct Toezicht

Samenvatting

Denoising diffusiemodellen zijn een krachtig type generatieve modellen die worden gebruikt om complexe verdelingen van real-world signalen vast te leggen. Hun toepasbaarheid is echter beperkt tot scenario's waarin trainingsmonsters direct beschikbaar zijn, wat in praktijktoepassingen niet altijd het geval is. Bij inverse graphics is het doel bijvoorbeeld om monsters te genereren uit een verdeling van 3D-scènes die overeenkomen met een gegeven afbeelding, maar grondwaarheid 3D-scènes zijn niet beschikbaar en alleen 2D-afbeeldingen zijn toegankelijk. Om deze beperking aan te pakken, stellen we een nieuwe klasse van denoising diffusion probabilistische modellen voor die leren om te bemonsteren uit verdelingen van signalen die nooit direct worden waargenomen. In plaats daarvan worden deze signalen indirect gemeten via een bekend differentieerbaar voorwaarts model, dat gedeeltelijke observaties van het onbekende signaal produceert. Onze aanpak omvat de integratie van het voorwaartse model direct in het denoising-proces. Deze integratie verbindt effectief de generatieve modellering van observaties met de generatieve modellering van de onderliggende signalen, waardoor end-to-end training van een conditioneel generatief model over signalen mogelijk wordt. Tijdens inferentie maakt onze aanpak het mogelijk om te bemonsteren uit de verdeling van onderliggende signalen die consistent zijn met een gegeven gedeeltelijke observatie. We demonstreren de effectiviteit van onze methode op drie uitdagende computer vision-taken. In de context van inverse graphics maakt ons model bijvoorbeeld directe bemonstering mogelijk uit de verdeling van 3D-scènes die overeenkomen met een enkele 2D-invoerafbeelding.

English

Denoising diffusion models are a powerful type of generative models used to capture complex distributions of real-world signals. However, their applicability is limited to scenarios where training samples are readily available, which is not always the case in real-world applications. For example, in inverse graphics, the goal is to generate samples from a distribution of 3D scenes that align with a given image, but ground-truth 3D scenes are unavailable and only 2D images are accessible. To address this limitation, we propose a novel class of denoising diffusion probabilistic models that learn to sample from distributions of signals that are never directly observed. Instead, these signals are measured indirectly through a known differentiable forward model, which produces partial observations of the unknown signal. Our approach involves integrating the forward model directly into the denoising process. This integration effectively connects the generative modeling of observations with the generative modeling of the underlying signals, allowing for end-to-end training of a conditional generative model over signals. During inference, our approach enables sampling from the distribution of underlying signals that are consistent with a given partial observation. We demonstrate the effectiveness of our method on three challenging computer vision tasks. For instance, in the context of inverse graphics, our model enables direct sampling from the distribution of 3D scenes that align with a single 2D input image.

Diffusie met Voorwaartse Modellen: Het Oplossen van Stochastische Inverse Problemen zonder Direct Toezicht

Diffusion with Forward Models: Solving Stochastic Inverse Problems Without Direct Supervision

Samenvatting

Support