Diffusion Implicite : Optimisation Efficace par Échantillonnage Stochastique

papers.abstract

Nous présentons un nouvel algorithme pour optimiser des distributions définies implicitement par des diffusions stochastiques paramétrées. Cela nous permet de modifier la distribution des résultats des processus d'échantillonnage en optimisant leurs paramètres. Nous introduisons un cadre général pour l'optimisation au premier ordre de ces processus, qui effectue conjointement, en une seule boucle, les étapes d'optimisation et d'échantillonnage. Cette approche s'inspire des avancées récentes en optimisation bilevel et en différenciation implicite automatique, en exploitant le point de vue de l'échantillonnage comme une optimisation sur l'espace des distributions de probabilité. Nous fournissons des garanties théoriques sur la performance de notre méthode, ainsi que des résultats expérimentaux démontrant son efficacité dans des contextes réels.

English

We present a new algorithm to optimize distributions defined implicitly by parameterized stochastic diffusions. Doing so allows us to modify the outcome distribution of sampling processes by optimizing over their parameters. We introduce a general framework for first-order optimization of these processes, that performs jointly, in a single loop, optimization and sampling steps. This approach is inspired by recent advances in bilevel optimization and automatic implicit differentiation, leveraging the point of view of sampling as optimization over the space of probability distributions. We provide theoretical guarantees on the performance of our method, as well as experimental results demonstrating its effectiveness in real-world settings.

Diffusion Implicite : Optimisation Efficace par Échantillonnage Stochastique

Implicit Diffusion: Efficient Optimization through Stochastic Sampling

papers.abstract

Support