Перезапуск выборки для улучшения генеративных процессов

Restart Sampling for Improving Generative Processes

June 26, 2023

Авторы: Yilun Xu, Mingyang Deng, Xiang Cheng, Yonglong Tian, Ziming Liu, Tommi Jaakkola

cs.AI

Аннотация

Генеративные процессы, связанные с решением дифференциальных уравнений, такие как диффузионные модели, часто требуют баланса между скоростью и качеством. Сэмплеры на основе обыкновенных дифференциальных уравнений (ODE) работают быстро, но их производительность достигает плато, тогда как сэмплеры на основе стохастических дифференциальных уравнений (SDE) обеспечивают более высокое качество выборки за счет увеличения времени сэмплирования. Мы связываем это различие с ошибками сэмплирования: сэмплеры ODE имеют меньшие ошибки дискретизации, в то время как стохастичность в SDE сокращает накопленные ошибки. На основе этих выводов мы предлагаем новый алгоритм сэмплирования под названием Restart, чтобы лучше сбалансировать ошибки дискретизации и сокращение. Этот метод сэмплирования чередует добавление значительного шума на дополнительных шагах вперед и строгое следование обратному ODE. Эмпирически сэмплер Restart превосходит предыдущие сэмплеры SDE и ODE как по скорости, так и по точности. Restart не только превосходит предыдущие лучшие результаты SDE, но и ускоряет процесс сэмплирования в 10 раз / 2 раза на наборах данных CIFAR-10 / ImageNet 64x64. Кроме того, он достигает значительно лучшего качества выборки, чем сэмплеры ODE, при сопоставимом времени сэмплирования. Более того, Restart лучше балансирует между согласованностью текста и изображения/визуальным качеством и разнообразием, чем предыдущие сэмплеры в крупномасштабной модели текста в изображение Stable Diffusion, предварительно обученной на LAION 512x512. Код доступен по адресу https://github.com/Newbeeer/diffusion_restart_sampling.

English

Generative processes that involve solving differential equations, such as diffusion models, frequently necessitate balancing speed and quality. ODE-based samplers are fast but plateau in performance while SDE-based samplers deliver higher sample quality at the cost of increased sampling time. We attribute this difference to sampling errors: ODE-samplers involve smaller discretization errors while stochasticity in SDE contracts accumulated errors. Based on these findings, we propose a novel sampling algorithm called Restart in order to better balance discretization errors and contraction. The sampling method alternates between adding substantial noise in additional forward steps and strictly following a backward ODE. Empirically, Restart sampler surpasses previous SDE and ODE samplers in both speed and accuracy. Restart not only outperforms the previous best SDE results, but also accelerates the sampling speed by 10-fold / 2-fold on CIFAR-10 / ImageNet 64 times 64. In addition, it attains significantly better sample quality than ODE samplers within comparable sampling times. Moreover, Restart better balances text-image alignment/visual quality versus diversity than previous samplers in the large-scale text-to-image Stable Diffusion model pre-trained on LAION 512 times 512. Code is available at https://github.com/Newbeeer/diffusion_restart_sampling