Neustart-Sampling zur Verbesserung generativer Prozesse

Zusammenfassung

Generative Prozesse, die das Lösen von Differentialgleichungen beinhalten, wie beispielsweise Diffusionsmodelle, erfordern häufig einen Ausgleich zwischen Geschwindigkeit und Qualität. ODE-basierte Sampler sind schnell, erreichen jedoch ein Leistungsplateau, während SDE-basierte Sampler eine höhere Probenqualität auf Kosten einer erhöhten Abtastzeit liefern. Wir führen diesen Unterschied auf Abtastfehler zurück: ODE-Sampler weisen geringere Diskretisierungsfehler auf, während die Stochastizität in SDE akkumulierte Fehler reduziert. Basierend auf diesen Erkenntnissen schlagen wir einen neuartigen Abtastalgorithmus namens Restart vor, um Diskretisierungsfehler und Fehlerreduktion besser auszubalancieren. Die Abtastmethode wechselt zwischen dem Hinzufügen von erheblichem Rauschen in zusätzlichen Vorwärtsschritten und dem strikten Befolgen einer rückwärtigen ODE. Empirisch übertrifft der Restart-Sampler bisherige SDE- und ODE-Sampler sowohl in Geschwindigkeit als auch in Genauigkeit. Restart übertrifft nicht nur die bisher besten SDE-Ergebnisse, sondern beschleunigt auch die Abtastgeschwindigkeit um das 10-fache / 2-fache auf CIFAR-10 / ImageNet 64 mal 64. Darüber hinaus erreicht es eine signifikant bessere Probenqualität als ODE-Sampler innerhalb vergleichbarer Abtastzeiten. Zudem balanciert Restart die Text-Bild-Ausrichtung/visuelle Qualität gegenüber der Diversität besser als bisherige Sampler im groß angelegten Text-zu-Bild Stable-Diffusion-Modell, das auf LAION 512 mal 512 vortrainiert wurde. Der Code ist verfügbar unter https://github.com/Newbeeer/diffusion_restart_sampling.

English

Generative processes that involve solving differential equations, such as diffusion models, frequently necessitate balancing speed and quality. ODE-based samplers are fast but plateau in performance while SDE-based samplers deliver higher sample quality at the cost of increased sampling time. We attribute this difference to sampling errors: ODE-samplers involve smaller discretization errors while stochasticity in SDE contracts accumulated errors. Based on these findings, we propose a novel sampling algorithm called Restart in order to better balance discretization errors and contraction. The sampling method alternates between adding substantial noise in additional forward steps and strictly following a backward ODE. Empirically, Restart sampler surpasses previous SDE and ODE samplers in both speed and accuracy. Restart not only outperforms the previous best SDE results, but also accelerates the sampling speed by 10-fold / 2-fold on CIFAR-10 / ImageNet 64 times 64. In addition, it attains significantly better sample quality than ODE samplers within comparable sampling times. Moreover, Restart better balances text-image alignment/visual quality versus diversity than previous samplers in the large-scale text-to-image Stable Diffusion model pre-trained on LAION 512 times 512. Code is available at https://github.com/Newbeeer/diffusion_restart_sampling

Neustart-Sampling zur Verbesserung generativer Prozesse

Restart Sampling for Improving Generative Processes

Zusammenfassung

Support