Rééchantillonnage pour l'amélioration des processus génératifs

Restart Sampling for Improving Generative Processes

June 26, 2023

Auteurs: Yilun Xu, Mingyang Deng, Xiang Cheng, Yonglong Tian, Ziming Liu, Tommi Jaakkola

cs.AI

Résumé

Les processus génératifs impliquant la résolution d'équations différentielles, tels que les modèles de diffusion, nécessitent fréquemment un équilibre entre vitesse et qualité. Les échantillonneurs basés sur des équations différentielles ordinaires (ODE) sont rapides mais plafonnent en termes de performance, tandis que les échantillonneurs basés sur des équations différentielles stochastiques (SDE) offrent une meilleure qualité d'échantillon au prix d'un temps d'échantillonnage accru. Nous attribuons cette différence aux erreurs d'échantillonnage : les échantillonneurs ODE impliquent des erreurs de discrétisation plus faibles, tandis que la stochasticité des SDE contracte les erreurs accumulées. Sur la base de ces observations, nous proposons un nouvel algorithme d'échantillonnage appelé Restart afin de mieux équilibrer les erreurs de discrétisation et la contraction. Cette méthode d'échantillonnage alterne entre l'ajout d'un bruit substantiel lors d'étapes supplémentaires en avant et le suivi strict d'une ODE en arrière. Empiriquement, l'échantillonneur Restart surpasse les échantillonneurs SDE et ODE précédents à la fois en vitesse et en précision. Restart non seulement dépasse les meilleurs résultats SDE précédents, mais accélère également la vitesse d'échantillonnage par un facteur de 10 / 2 sur CIFAR-10 / ImageNet 64 fois 64. De plus, il atteint une qualité d'échantillon significativement meilleure que les échantillonneurs ODE dans des temps d'échantillonnage comparables. Par ailleurs, Restart équilibre mieux l'alignement texte-image / qualité visuelle par rapport à la diversité que les échantillonneurs précédents dans le modèle de diffusion stable à grande échelle de texte à image pré-entraîné sur LAION 512 fois 512. Le code est disponible à l'adresse suivante : https://github.com/Newbeeer/diffusion_restart_sampling

English

Generative processes that involve solving differential equations, such as diffusion models, frequently necessitate balancing speed and quality. ODE-based samplers are fast but plateau in performance while SDE-based samplers deliver higher sample quality at the cost of increased sampling time. We attribute this difference to sampling errors: ODE-samplers involve smaller discretization errors while stochasticity in SDE contracts accumulated errors. Based on these findings, we propose a novel sampling algorithm called Restart in order to better balance discretization errors and contraction. The sampling method alternates between adding substantial noise in additional forward steps and strictly following a backward ODE. Empirically, Restart sampler surpasses previous SDE and ODE samplers in both speed and accuracy. Restart not only outperforms the previous best SDE results, but also accelerates the sampling speed by 10-fold / 2-fold on CIFAR-10 / ImageNet 64 times 64. In addition, it attains significantly better sample quality than ODE samplers within comparable sampling times. Moreover, Restart better balances text-image alignment/visual quality versus diversity than previous samplers in the large-scale text-to-image Stable Diffusion model pre-trained on LAION 512 times 512. Code is available at https://github.com/Newbeeer/diffusion_restart_sampling