Amostragem com Reinicialização para Melhorar Processos Gerativos

Restart Sampling for Improving Generative Processes

June 26, 2023

Autores: Yilun Xu, Mingyang Deng, Xiang Cheng, Yonglong Tian, Ziming Liu, Tommi Jaakkola

cs.AI

Resumo

Processos generativos que envolvem a resolução de equações diferenciais, como modelos de difusão, frequentemente exigem um equilíbrio entre velocidade e qualidade. Amostradores baseados em EDOs (Equações Diferenciais Ordinárias) são rápidos, mas atingem um platô de desempenho, enquanto amostradores baseados em EDEs (Equações Diferenciais Estocásticas) oferecem maior qualidade de amostragem ao custo de um tempo de amostragem maior. Atribuímos essa diferença aos erros de amostragem: amostradores de EDOs envolvem erros de discretização menores, enquanto a estocasticidade nas EDEs contrai os erros acumulados. Com base nessas descobertas, propomos um novo algoritmo de amostragem chamado Restart para equilibrar melhor os erros de discretização e a contração. O método de amostragem alterna entre adicionar ruído substancial em passos adicionais para frente e seguir estritamente uma EDO para trás. Empiricamente, o amostrador Restart supera os amostradores de EDE e EDO anteriores tanto em velocidade quanto em precisão. Restart não apenas supera os melhores resultados anteriores de EDE, mas também acelera a velocidade de amostragem em 10 vezes / 2 vezes em CIFAR-10 / ImageNet 64x64. Além disso, ele obtém uma qualidade de amostragem significativamente melhor do que os amostradores de EDO dentro de tempos de amostragem comparáveis. Além disso, Restart equilibra melhor o alinhamento texto-imagem/qualidade visual versus diversidade do que os amostradores anteriores no modelo de difusão estável de texto para imagem em larga escala pré-treinado em LAION 512x512. O código está disponível em https://github.com/Newbeeer/diffusion_restart_sampling.

English

Generative processes that involve solving differential equations, such as diffusion models, frequently necessitate balancing speed and quality. ODE-based samplers are fast but plateau in performance while SDE-based samplers deliver higher sample quality at the cost of increased sampling time. We attribute this difference to sampling errors: ODE-samplers involve smaller discretization errors while stochasticity in SDE contracts accumulated errors. Based on these findings, we propose a novel sampling algorithm called Restart in order to better balance discretization errors and contraction. The sampling method alternates between adding substantial noise in additional forward steps and strictly following a backward ODE. Empirically, Restart sampler surpasses previous SDE and ODE samplers in both speed and accuracy. Restart not only outperforms the previous best SDE results, but also accelerates the sampling speed by 10-fold / 2-fold on CIFAR-10 / ImageNet 64 times 64. In addition, it attains significantly better sample quality than ODE samplers within comparable sampling times. Moreover, Restart better balances text-image alignment/visual quality versus diversity than previous samplers in the large-scale text-to-image Stable Diffusion model pre-trained on LAION 512 times 512. Code is available at https://github.com/Newbeeer/diffusion_restart_sampling