Implizite Diffusion: Effiziente Optimierung durch stochastisches Sampling

Zusammenfassung

Wir stellen einen neuen Algorithmus vor, um Verteilungen zu optimieren, die implizit durch parametrisierte stochastische Diffusionen definiert sind. Dies ermöglicht es uns, die Ergebnisverteilung von Sampling-Prozessen zu modifizieren, indem wir ihre Parameter optimieren. Wir führen ein allgemeines Framework für die Optimierung erster Ordnung dieser Prozesse ein, das Optimierungs- und Sampling-Schritte gemeinsam in einer einzigen Schleife durchführt. Dieser Ansatz ist inspiriert durch jüngste Fortschritte in der bilevel-Optimierung und der automatischen impliziten Differentiation, wobei die Sichtweise des Samplings als Optimierung über den Raum der Wahrscheinlichkeitsverteilungen genutzt wird. Wir liefern theoretische Garantien für die Leistungsfähigkeit unserer Methode sowie experimentelle Ergebnisse, die ihre Wirksamkeit in realen Anwendungen demonstrieren.

English

We present a new algorithm to optimize distributions defined implicitly by parameterized stochastic diffusions. Doing so allows us to modify the outcome distribution of sampling processes by optimizing over their parameters. We introduce a general framework for first-order optimization of these processes, that performs jointly, in a single loop, optimization and sampling steps. This approach is inspired by recent advances in bilevel optimization and automatic implicit differentiation, leveraging the point of view of sampling as optimization over the space of probability distributions. We provide theoretical guarantees on the performance of our method, as well as experimental results demonstrating its effectiveness in real-world settings.

Implizite Diffusion: Effiziente Optimierung durch stochastisches Sampling

Implicit Diffusion: Efficient Optimization through Stochastic Sampling

Zusammenfassung

Support