Impliciete Diffusie: Efficiënte Optimalisatie via Stochastische Steekproefname

Implicit Diffusion: Efficient Optimization through Stochastic Sampling

February 8, 2024

Auteurs: Pierre Marion, Anna Korba, Peter Bartlett, Mathieu Blondel, Valentin De Bortoli, Arnaud Doucet, Felipe Llinares-López, Courtney Paquette, Quentin Berthet

cs.AI

Samenvatting

We presenteren een nieuw algoritme om distributies te optimaliseren die impliciet worden gedefinieerd door geparameteriseerde stochastische diffusies. Hierdoor kunnen we de uitkomstdistributie van steekproefprocessen aanpassen door hun parameters te optimaliseren. We introduceren een algemeen raamwerk voor eerstegraads optimalisatie van deze processen, waarbij optimalisatie- en steekproefstappen gezamenlijk in één lus worden uitgevoerd. Deze aanpak is geïnspireerd door recente vooruitgang in bilevel optimalisatie en automatische impliciete differentiatie, waarbij het steekproefproces wordt benaderd als optimalisatie over de ruimte van kansverdelingen. We bieden theoretische garanties voor de prestaties van onze methode, evenals experimentele resultaten die de effectiviteit ervan in praktijksituaties aantonen.

English

We present a new algorithm to optimize distributions defined implicitly by parameterized stochastic diffusions. Doing so allows us to modify the outcome distribution of sampling processes by optimizing over their parameters. We introduce a general framework for first-order optimization of these processes, that performs jointly, in a single loop, optimization and sampling steps. This approach is inspired by recent advances in bilevel optimization and automatic implicit differentiation, leveraging the point of view of sampling as optimization over the space of probability distributions. We provide theoretical guarantees on the performance of our method, as well as experimental results demonstrating its effectiveness in real-world settings.