暗黙的拡散：確率的サンプリングによる効率的な最適化

要旨

本論文では、パラメータ化された確率拡散過程によって暗黙的に定義される分布を最適化する新しいアルゴリズムを提案する。これにより、サンプリング過程のパラメータを最適化することで、その結果として得られる分布を変更することが可能となる。我々は、これらの過程に対する一階最適化のための一般的なフレームワークを導入し、最適化とサンプリングのステップを単一のループ内で同時に実行する。このアプローチは、最近の二段階最適化と自動暗黙微分の進展に着想を得ており、確率分布の空間における最適化としてのサンプリングの視点を活用している。我々は、本手法の性能に関する理論的保証を提供するとともに、実世界の設定における有効性を示す実験結果を提示する。

English

We present a new algorithm to optimize distributions defined implicitly by parameterized stochastic diffusions. Doing so allows us to modify the outcome distribution of sampling processes by optimizing over their parameters. We introduce a general framework for first-order optimization of these processes, that performs jointly, in a single loop, optimization and sampling steps. This approach is inspired by recent advances in bilevel optimization and automatic implicit differentiation, leveraging the point of view of sampling as optimization over the space of probability distributions. We provide theoretical guarantees on the performance of our method, as well as experimental results demonstrating its effectiveness in real-world settings.

暗黙的拡散：確率的サンプリングによる効率的な最適化

Implicit Diffusion: Efficient Optimization through Stochastic Sampling

要旨

Support