암묵적 확산: 확률적 샘플링을 통한 효율적 최적화

초록

우리는 매개변수화된 확률적 확산에 의해 암묵적으로 정의된 분포를 최적화하기 위한 새로운 알고리즘을 제안한다. 이를 통해 샘플링 과정의 결과 분포를 매개변수 최적화를 통해 수정할 수 있다. 우리는 이러한 과정의 1차 최적화를 위한 일반적인 프레임워크를 소개하며, 이는 최적화와 샘플링 단계를 단일 루프에서 동시에 수행한다. 이 접근법은 최근의 이중 수준 최적화 및 자동 암묵적 미분의 발전에서 영감을 받았으며, 확률 분포 공간에 대한 최적화로서의 샘플링 관점을 활용한다. 우리는 이 방법의 성능에 대한 이론적 보장을 제공하며, 실제 환경에서의 효과를 입증하는 실험 결과도 제시한다.

English

We present a new algorithm to optimize distributions defined implicitly by parameterized stochastic diffusions. Doing so allows us to modify the outcome distribution of sampling processes by optimizing over their parameters. We introduce a general framework for first-order optimization of these processes, that performs jointly, in a single loop, optimization and sampling steps. This approach is inspired by recent advances in bilevel optimization and automatic implicit differentiation, leveraging the point of view of sampling as optimization over the space of probability distributions. We provide theoretical guarantees on the performance of our method, as well as experimental results demonstrating its effectiveness in real-world settings.

암묵적 확산: 확률적 샘플링을 통한 효율적 최적화

Implicit Diffusion: Efficient Optimization through Stochastic Sampling

초록

Support