De Principes van Diffusiemodellen

Samenvatting

Dit monografisch werk presenteert de kernprincipes die de ontwikkeling van diffusiemodellen hebben geleid, waarbij de oorsprong wordt getraceerd en wordt getoond hoe diverse formuleringen voortkomen uit gedeelde wiskundige concepten. Diffusiemodellering begint met het definiëren van een voorwaarts proces dat data geleidelijk corrumpeert tot ruis, waardoor de dataverdeling via een continuüm van tussenliggende verdelingen wordt verbonden met een eenvoudige prior. Het doel is om een omgekeerd proces te leren dat ruis terugtransformeert naar data, waarbij dezelfde tussenliggende verdelingen worden hersteld. Wij beschrijven drie complementaire perspectieven. Het variationele perspectief, geïnspireerd door variationele auto-encoders, beschouwt diffusie als het stap voor stap leren verwijderen van ruis. Het score-gebaseerde perspectief, geworteld in energie-gebaseerd modelleren, leert de gradiënt van de evoluerende dataverdeling, wat aangeeft hoe samples naar waarschijnlijkere regio's kunnen worden gestuurd. Het stroomgebaseerde perspectief, verwant aan normaliserende stromen, behandelt generatie als het volgen van een glad pad dat samples van ruis naar data verplaatst onder een geleerd snelheidsveld. Deze perspectieven delen een gemeenschappelijke ruggengraat: een tijdsafhankelijk snelheidsveld waarvan de stroom een eenvoudige prior naar de data transporteert. Samplen komt dan neer op het oplossen van een differentiaalvergelijking die ruis langs een continue trajectorie evolueert naar data. Op deze basis bespreekt het werk richtlijnen voor controleerbare generatie, efficiënte numerieke oplossers, en door diffusie gemotiveerde stroomkaartmodellen die directe mappingen tussen willekeurige tijdstippen leren. Het biedt een conceptueel en wiskundig onderbouwd begrip van diffusiemodellen voor lezers met basiskennis van deep learning.

English

This monograph presents the core principles that have guided the development of diffusion models, tracing their origins and showing how diverse formulations arise from shared mathematical ideas. Diffusion modeling starts by defining a forward process that gradually corrupts data into noise, linking the data distribution to a simple prior through a continuum of intermediate distributions. The goal is to learn a reverse process that transforms noise back into data while recovering the same intermediates. We describe three complementary views. The variational view, inspired by variational autoencoders, sees diffusion as learning to remove noise step by step. The score-based view, rooted in energy-based modeling, learns the gradient of the evolving data distribution, indicating how to nudge samples toward more likely regions. The flow-based view, related to normalizing flows, treats generation as following a smooth path that moves samples from noise to data under a learned velocity field. These perspectives share a common backbone: a time-dependent velocity field whose flow transports a simple prior to the data. Sampling then amounts to solving a differential equation that evolves noise into data along a continuous trajectory. On this foundation, the monograph discusses guidance for controllable generation, efficient numerical solvers, and diffusion-motivated flow-map models that learn direct mappings between arbitrary times. It provides a conceptual and mathematically grounded understanding of diffusion models for readers with basic deep-learning knowledge.

De Principes van Diffusiemodellen

The Principles of Diffusion Models

Samenvatting

Support