Difusão Implícita: Otimização Eficiente por meio de Amostragem Estocástica
Implicit Diffusion: Efficient Optimization through Stochastic Sampling
February 8, 2024
Autores: Pierre Marion, Anna Korba, Peter Bartlett, Mathieu Blondel, Valentin De Bortoli, Arnaud Doucet, Felipe Llinares-López, Courtney Paquette, Quentin Berthet
cs.AI
Resumo
Apresentamos um novo algoritmo para otimizar distribuições definidas implicitamente por difusões estocásticas parametrizadas. Isso nos permite modificar a distribuição de resultados de processos de amostragem ao otimizar seus parâmetros. Introduzimos um framework geral para otimização de primeira ordem desses processos, que realiza conjuntamente, em um único ciclo, etapas de otimização e amostragem. Essa abordagem é inspirada por avanços recentes em otimização bilevel e diferenciação implícita automática, aproveitando a perspectiva da amostragem como otimização no espaço de distribuições de probabilidade. Fornecemos garantias teóricas sobre o desempenho do nosso método, bem como resultados experimentais que demonstram sua eficácia em cenários do mundo real.
English
We present a new algorithm to optimize distributions defined implicitly by
parameterized stochastic diffusions. Doing so allows us to modify the outcome
distribution of sampling processes by optimizing over their parameters. We
introduce a general framework for first-order optimization of these processes,
that performs jointly, in a single loop, optimization and sampling steps. This
approach is inspired by recent advances in bilevel optimization and automatic
implicit differentiation, leveraging the point of view of sampling as
optimization over the space of probability distributions. We provide
theoretical guarantees on the performance of our method, as well as
experimental results demonstrating its effectiveness in real-world settings.