Muestreo con Reinicio para Mejorar los Procesos Generativos

Restart Sampling for Improving Generative Processes

June 26, 2023

Autores: Yilun Xu, Mingyang Deng, Xiang Cheng, Yonglong Tian, Ziming Liu, Tommi Jaakkola

cs.AI

Resumen

Los procesos generativos que implican resolver ecuaciones diferenciales, como los modelos de difusión, frecuentemente requieren equilibrar velocidad y calidad. Los muestreadores basados en EDO son rápidos pero alcanzan un límite en su rendimiento, mientras que los muestreadores basados en EDE ofrecen una mayor calidad de muestreo a costa de un tiempo de muestreo más prolongado. Atribuimos esta diferencia a los errores de muestreo: los muestreadores de EDO involucran errores de discretización más pequeños, mientras que la estocasticidad en las EDE contrae los errores acumulados. Basándonos en estos hallazgos, proponemos un nuevo algoritmo de muestreo llamado Restart para equilibrar mejor los errores de discretización y la contracción. Este método de muestreo alterna entre agregar ruido significativo en pasos adicionales hacia adelante y seguir estrictamente una EDO hacia atrás. Empíricamente, el muestreador Restart supera a los muestreadores anteriores de EDE y EDO tanto en velocidad como en precisión. Restart no solo supera los mejores resultados anteriores de EDE, sino que también acelera la velocidad de muestreo en 10 veces / 2 veces en CIFAR-10 / ImageNet 64x64. Además, logra una calidad de muestreo significativamente mejor que los muestreadores de EDO dentro de tiempos de muestreo comparables. Más aún, Restart equilibra mejor la alineación texto-imagen/calidad visual versus diversidad que los muestreadores anteriores en el modelo de difusión estable de texto a imagen a gran escala preentrenado en LAION 512x512. El código está disponible en https://github.com/Newbeeer/diffusion_restart_sampling.

English

Generative processes that involve solving differential equations, such as diffusion models, frequently necessitate balancing speed and quality. ODE-based samplers are fast but plateau in performance while SDE-based samplers deliver higher sample quality at the cost of increased sampling time. We attribute this difference to sampling errors: ODE-samplers involve smaller discretization errors while stochasticity in SDE contracts accumulated errors. Based on these findings, we propose a novel sampling algorithm called Restart in order to better balance discretization errors and contraction. The sampling method alternates between adding substantial noise in additional forward steps and strictly following a backward ODE. Empirically, Restart sampler surpasses previous SDE and ODE samplers in both speed and accuracy. Restart not only outperforms the previous best SDE results, but also accelerates the sampling speed by 10-fold / 2-fold on CIFAR-10 / ImageNet 64 times 64. In addition, it attains significantly better sample quality than ODE samplers within comparable sampling times. Moreover, Restart better balances text-image alignment/visual quality versus diversity than previous samplers in the large-scale text-to-image Stable Diffusion model pre-trained on LAION 512 times 512. Code is available at https://github.com/Newbeeer/diffusion_restart_sampling