Campionamento con Riavvio per Migliorare i Processi Generativi

Restart Sampling for Improving Generative Processes

June 26, 2023

Autori: Yilun Xu, Mingyang Deng, Xiang Cheng, Yonglong Tian, Ziming Liu, Tommi Jaakkola

cs.AI

Abstract

I processi generativi che coinvolgono la risoluzione di equazioni differenziali, come i modelli di diffusione, richiedono spesso un bilanciamento tra velocità e qualità. I campionatori basati su ODE sono veloci ma raggiungono un plateau nelle prestazioni, mentre i campionatori basati su SDE offrono una qualità del campionamento superiore al costo di un tempo di campionamento maggiore. Attribuiamo questa differenza agli errori di campionamento: i campionatori ODE comportano errori di discretizzazione più piccoli, mentre la stocasticità nelle SDE contrae gli errori accumulati. Sulla base di queste osservazioni, proponiamo un nuovo algoritmo di campionamento chiamato Restart per bilanciare meglio gli errori di discretizzazione e la contrazione. Il metodo di campionamento alterna l'aggiunta di rumore significativo in passi aggiuntivi in avanti e il seguire rigorosamente un'ODE all'indietro. Empiricamente, il campionatore Restart supera i precedenti campionatori SDE e ODE sia in velocità che in accuratezza. Restart non solo supera i migliori risultati SDE precedenti, ma accelera anche la velocità di campionamento di 10 volte / 2 volte su CIFAR-10 / ImageNet 64x64. Inoltre, ottiene una qualità del campionamento significativamente migliore rispetto ai campionatori ODE entro tempi di campionamento comparabili. Inoltre, Restart bilancia meglio l'allineamento testo-immagine/qualità visiva rispetto alla diversità rispetto ai precedenti campionatori nel modello di diffusione stabile su larga scala da testo a immagine pre-addestrato su LAION 512x512. Il codice è disponibile all'indirizzo https://github.com/Newbeeer/diffusion_restart_sampling.

English

Generative processes that involve solving differential equations, such as diffusion models, frequently necessitate balancing speed and quality. ODE-based samplers are fast but plateau in performance while SDE-based samplers deliver higher sample quality at the cost of increased sampling time. We attribute this difference to sampling errors: ODE-samplers involve smaller discretization errors while stochasticity in SDE contracts accumulated errors. Based on these findings, we propose a novel sampling algorithm called Restart in order to better balance discretization errors and contraction. The sampling method alternates between adding substantial noise in additional forward steps and strictly following a backward ODE. Empirically, Restart sampler surpasses previous SDE and ODE samplers in both speed and accuracy. Restart not only outperforms the previous best SDE results, but also accelerates the sampling speed by 10-fold / 2-fold on CIFAR-10 / ImageNet 64 times 64. In addition, it attains significantly better sample quality than ODE samplers within comparable sampling times. Moreover, Restart better balances text-image alignment/visual quality versus diversity than previous samplers in the large-scale text-to-image Stable Diffusion model pre-trained on LAION 512 times 512. Code is available at https://github.com/Newbeeer/diffusion_restart_sampling