Les principes des modèles de diffusion

papers.abstract

Cette monographie présente les principes fondamentaux qui ont guidé le développement des modèles de diffusion, en retraçant leurs origines et en montrant comment des formulations diverses émergent d'idées mathématiques partagées. La modélisation par diffusion commence par définir un processus direct qui corrompt progressivement les données en bruit, reliant la distribution des données à un a priori simple à travers un continuum de distributions intermédiaires. L'objectif est d'apprendre un processus inverse qui transforme le bruit en données tout en reconstituant les mêmes intermédiaires. Nous décrivons trois perspectives complémentaires. La perspective variationnelle, inspirée des autoencodeurs variationnels, considère la diffusion comme l'apprentissage de l'élimination progressive du bruit. La perspective basée sur les scores, issue de la modélisation énergétique, apprend le gradient de la distribution évolutive des données, indiquant comment déplacer les échantillons vers des régions plus probables. La perspective basée sur les flots, liée aux flots de normalisation, traite la génération comme le suivi d'un chemin lisse qui déplace les échantillons du bruit vers les données sous un champ de vitesse appris. Ces perspectives partagent une ossature commune : un champ de vitesse dépendant du temps dont le flot transporte un a priori simple vers les données. L'échantillonnage revient alors à résoudre une équation différentielle qui fait évoluer le bruit en données le long d'une trajectoire continue. Sur cette base, la monographie aborde le guidage pour la génération contrôlable, les solveurs numériques efficaces et les modèles de flot motivés par la diffusion qui apprennent des mappings directs entre des temps arbitraires. Elle offre une compréhension conceptuelle et mathématiquement fondée des modèles de diffusion pour les lecteurs possédant des connaissances de base en apprentissage profond.

English

This monograph presents the core principles that have guided the development of diffusion models, tracing their origins and showing how diverse formulations arise from shared mathematical ideas. Diffusion modeling starts by defining a forward process that gradually corrupts data into noise, linking the data distribution to a simple prior through a continuum of intermediate distributions. The goal is to learn a reverse process that transforms noise back into data while recovering the same intermediates. We describe three complementary views. The variational view, inspired by variational autoencoders, sees diffusion as learning to remove noise step by step. The score-based view, rooted in energy-based modeling, learns the gradient of the evolving data distribution, indicating how to nudge samples toward more likely regions. The flow-based view, related to normalizing flows, treats generation as following a smooth path that moves samples from noise to data under a learned velocity field. These perspectives share a common backbone: a time-dependent velocity field whose flow transports a simple prior to the data. Sampling then amounts to solving a differential equation that evolves noise into data along a continuous trajectory. On this foundation, the monograph discusses guidance for controllable generation, efficient numerical solvers, and diffusion-motivated flow-map models that learn direct mappings between arbitrary times. It provides a conceptual and mathematically grounded understanding of diffusion models for readers with basic deep-learning knowledge.

Les principes des modèles de diffusion

The Principles of Diffusion Models

papers.abstract

Support