Herstarten van Steekproeven voor Verbetering van Generatieve Processen

Restart Sampling for Improving Generative Processes

June 26, 2023

Auteurs: Yilun Xu, Mingyang Deng, Xiang Cheng, Yonglong Tian, Ziming Liu, Tommi Jaakkola

cs.AI

Samenvatting

Generatieve processen die het oplossen van differentiaalvergelijkingen omvatten, zoals diffusiemodellen, vereisen vaak een balans tussen snelheid en kwaliteit. ODE-gebaseerde samplers zijn snel maar bereiken een plafond in prestaties, terwijl SDE-gebaseerde samplers een hogere samplekwaliteit leveren ten koste van een langere samplingtijd. Wij schrijven dit verschil toe aan samplingfouten: ODE-samplers hebben kleinere discretisatiefouten, terwijl de stochasticiteit in SDE geaccumuleerde fouten vermindert. Op basis van deze bevindingen stellen we een nieuw samplingalgoritme voor, genaamd Restart, om discretisatiefouten en reductie beter in balans te brengen. De samplingmethode wisselt af tussen het toevoegen van aanzienlijke ruis in extra voorwaartse stappen en het strikt volgen van een achterwaartse ODE. Empirisch gezien overtreft de Restart-sampler zowel SDE- als ODE-samplers in zowel snelheid als nauwkeurigheid. Restart overtreft niet alleen de vorige beste SDE-resultaten, maar versnelt ook de sampling snelheid met 10-voudig / 2-voudig op CIFAR-10 / ImageNet 64 maal 64. Daarnaast bereikt het een aanzienlijk betere samplekwaliteit dan ODE-samplers binnen vergelijkbare samplingtijden. Bovendien balanceert Restart tekst-beelduitlijning/visuele kwaliteit versus diversiteit beter dan vorige samplers in het grootschalige tekst-naar-beeld Stable Diffusion-model voorgetraind op LAION 512 maal 512. Code is beschikbaar op https://github.com/Newbeeer/diffusion_restart_sampling.

English

Generative processes that involve solving differential equations, such as diffusion models, frequently necessitate balancing speed and quality. ODE-based samplers are fast but plateau in performance while SDE-based samplers deliver higher sample quality at the cost of increased sampling time. We attribute this difference to sampling errors: ODE-samplers involve smaller discretization errors while stochasticity in SDE contracts accumulated errors. Based on these findings, we propose a novel sampling algorithm called Restart in order to better balance discretization errors and contraction. The sampling method alternates between adding substantial noise in additional forward steps and strictly following a backward ODE. Empirically, Restart sampler surpasses previous SDE and ODE samplers in both speed and accuracy. Restart not only outperforms the previous best SDE results, but also accelerates the sampling speed by 10-fold / 2-fold on CIFAR-10 / ImageNet 64 times 64. In addition, it attains significantly better sample quality than ODE samplers within comparable sampling times. Moreover, Restart better balances text-image alignment/visual quality versus diversity than previous samplers in the large-scale text-to-image Stable Diffusion model pre-trained on LAION 512 times 512. Code is available at https://github.com/Newbeeer/diffusion_restart_sampling