ReSWD: ReSTIR'd, no agitado. Combinando muestreo por reservorio y la distancia de Wasserstein por rebanadas para la reducción de varianza.
ReSWD: ReSTIR'd, not shaken. Combining Reservoir Sampling and Sliced Wasserstein Distance for Variance Reduction
October 1, 2025
Autores: Mark Boss, Andreas Engelhardt, Simon Donné, Varun Jampani
cs.AI
Resumen
La coincidencia de distribuciones es fundamental en muchas tareas de visión y gráficos, donde la distancia de Wasserstein, ampliamente utilizada, resulta demasiado costosa de calcular para distribuciones de alta dimensionalidad. La Distancia de Wasserstein Segmentada (SWD, por sus siglas en inglés) ofrece una alternativa escalable, aunque su estimador de Monte Carlo sufre de una alta varianza, lo que resulta en gradientes ruidosos y una convergencia lenta. Introducimos la Distancia de Wasserstein Segmentada con Reservorio (ReSWD), que integra el Muestreo Ponderado de Reservorio en SWD para retener de manera adaptativa direcciones de proyección informativas en los pasos de optimización, lo que produce gradientes estables mientras se mantiene imparcial. Los experimentos en puntos de referencia sintéticos y tareas del mundo real, como la corrección de color y la guía de difusión, muestran que ReSWD supera consistentemente a SWD estándar y otros métodos de reducción de varianza. Página del proyecto: https://reservoirswd.github.io/
English
Distribution matching is central to many vision and graphics tasks, where the
widely used Wasserstein distance is too costly to compute for high dimensional
distributions. The Sliced Wasserstein Distance (SWD) offers a scalable
alternative, yet its Monte Carlo estimator suffers from high variance,
resulting in noisy gradients and slow convergence. We introduce Reservoir SWD
(ReSWD), which integrates Weighted Reservoir Sampling into SWD to adaptively
retain informative projection directions in optimization steps, resulting in
stable gradients while remaining unbiased. Experiments on synthetic benchmarks
and real-world tasks such as color correction and diffusion guidance show that
ReSWD consistently outperforms standard SWD and other variance reduction
baselines. Project page: https://reservoirswd.github.io/