ReSWD: ReSTIR'd, non agitato. Combinare il campionamento a serbatoio e la distanza di Wasserstein a fette per la riduzione della varianza
ReSWD: ReSTIR'd, not shaken. Combining Reservoir Sampling and Sliced Wasserstein Distance for Variance Reduction
October 1, 2025
Autori: Mark Boss, Andreas Engelhardt, Simon Donné, Varun Jampani
cs.AI
Abstract
La corrispondenza delle distribuzioni è fondamentale per molte attività di visione e grafica, dove la distanza di Wasserstein, ampiamente utilizzata, risulta troppo costosa da calcolare per distribuzioni ad alta dimensionalità. La distanza di Wasserstein a fette (Sliced Wasserstein Distance, SWD) offre un'alternativa scalabile, ma il suo stimatore Monte Carlo soffre di un'elevata varianza, portando a gradienti rumorosi e una convergenza lenta. Introduciamo la Reservoir SWD (ReSWD), che integra il campionamento ponderato da serbatoio (Weighted Reservoir Sampling) nella SWD per mantenere in modo adattivo direzioni di proiezione informative durante i passi di ottimizzazione, ottenendo gradienti stabili pur rimanendo imparziale. Esperimenti su benchmark sintetici e su compiti reali come la correzione del colore e la guida della diffusione dimostrano che ReSWD supera costantemente la SWD standard e altri metodi di riduzione della varianza. Pagina del progetto: https://reservoirswd.github.io/
English
Distribution matching is central to many vision and graphics tasks, where the
widely used Wasserstein distance is too costly to compute for high dimensional
distributions. The Sliced Wasserstein Distance (SWD) offers a scalable
alternative, yet its Monte Carlo estimator suffers from high variance,
resulting in noisy gradients and slow convergence. We introduce Reservoir SWD
(ReSWD), which integrates Weighted Reservoir Sampling into SWD to adaptively
retain informative projection directions in optimization steps, resulting in
stable gradients while remaining unbiased. Experiments on synthetic benchmarks
and real-world tasks such as color correction and diffusion guidance show that
ReSWD consistently outperforms standard SWD and other variance reduction
baselines. Project page: https://reservoirswd.github.io/