Difusión Implícita: Optimización Eficiente mediante Muestreo Estocástico

Resumen

Presentamos un nuevo algoritmo para optimizar distribuciones definidas implícitamente mediante difusiones estocásticas parametrizadas. Esto nos permite modificar la distribución resultante de los procesos de muestreo optimizando sus parámetros. Introducimos un marco general para la optimización de primer orden de estos procesos, que realiza conjuntamente, en un solo ciclo, pasos de optimización y muestreo. Este enfoque se inspira en avances recientes en optimización bi-nivel y diferenciación implícita automática, aprovechando la perspectiva del muestreo como optimización sobre el espacio de distribuciones de probabilidad. Proporcionamos garantías teóricas sobre el rendimiento de nuestro método, así como resultados experimentales que demuestran su eficacia en entornos del mundo real.

English

We present a new algorithm to optimize distributions defined implicitly by parameterized stochastic diffusions. Doing so allows us to modify the outcome distribution of sampling processes by optimizing over their parameters. We introduce a general framework for first-order optimization of these processes, that performs jointly, in a single loop, optimization and sampling steps. This approach is inspired by recent advances in bilevel optimization and automatic implicit differentiation, leveraging the point of view of sampling as optimization over the space of probability distributions. We provide theoretical guarantees on the performance of our method, as well as experimental results demonstrating its effectiveness in real-world settings.

Difusión Implícita: Optimización Eficiente mediante Muestreo Estocástico

Implicit Diffusion: Efficient Optimization through Stochastic Sampling

Resumen

Support