Diffusione Implicita: Ottimizzazione Efficiente tramite Campionamento Stocastico
Implicit Diffusion: Efficient Optimization through Stochastic Sampling
February 8, 2024
Autori: Pierre Marion, Anna Korba, Peter Bartlett, Mathieu Blondel, Valentin De Bortoli, Arnaud Doucet, Felipe Llinares-López, Courtney Paquette, Quentin Berthet
cs.AI
Abstract
Presentiamo un nuovo algoritmo per ottimizzare distribuzioni definite implicitamente da diffusioni stocastiche parametrizzate. Ciò ci consente di modificare la distribuzione dei risultati dei processi di campionamento ottimizzando i loro parametri. Introduciamo un framework generale per l'ottimizzazione di primo ordine di questi processi, che esegue congiuntamente, in un unico ciclo, passi di ottimizzazione e campionamento. Questo approccio è ispirato dai recenti progressi nell'ottimizzazione bilevel e nella differenziazione implicita automatica, sfruttando il punto di vista del campionamento come ottimizzazione sullo spazio delle distribuzioni di probabilità. Forniamo garanzie teoriche sulle prestazioni del nostro metodo, nonché risultati sperimentali che ne dimostrano l'efficacia in contesti reali.
English
We present a new algorithm to optimize distributions defined implicitly by
parameterized stochastic diffusions. Doing so allows us to modify the outcome
distribution of sampling processes by optimizing over their parameters. We
introduce a general framework for first-order optimization of these processes,
that performs jointly, in a single loop, optimization and sampling steps. This
approach is inspired by recent advances in bilevel optimization and automatic
implicit differentiation, leveraging the point of view of sampling as
optimization over the space of probability distributions. We provide
theoretical guarantees on the performance of our method, as well as
experimental results demonstrating its effectiveness in real-world settings.