Modelli di Diffusione Matrioska

Abstract

I modelli di diffusione rappresentano l'approccio de facto per la generazione di immagini e video di alta qualità, ma l'apprendimento di modelli ad alta dimensionalità rimane un compito impegnativo a causa delle sfide computazionali e di ottimizzazione. I metodi esistenti spesso ricorrono all'addestramento di modelli a cascata nello spazio dei pixel o all'uso di uno spazio latente sottocampionato di un autoencoder addestrato separatamente. In questo articolo, introduciamo i Matryoshka Diffusion Models (MDM), un framework end-to-end per la sintesi di immagini e video ad alta risoluzione. Proponiamo un processo di diffusione che denoizza gli input a più risoluzioni in modo congiunto e utilizza un'architettura NestedUNet in cui le caratteristiche e i parametri per input su piccola scala sono annidati all'interno di quelli su larga scala. Inoltre, MDM consente un piano di addestramento progressivo da risoluzioni inferiori a superiori, il che porta a significativi miglioramenti nell'ottimizzazione per la generazione ad alta risoluzione. Dimostriamo l'efficacia del nostro approccio su vari benchmark, inclusa la generazione di immagini condizionate per classe, la generazione di immagini ad alta risoluzione da testo e applicazioni di testo-video. In modo notevole, possiamo addestrare un singolo modello nello spazio dei pixel a risoluzioni fino a 1024x1024 pixel, dimostrando una forte generalizzazione zero-shot utilizzando il dataset CC12M, che contiene solo 12 milioni di immagini.

English

Diffusion models are the de facto approach for generating high-quality images and videos, but learning high-dimensional models remains a formidable task due to computational and optimization challenges. Existing methods often resort to training cascaded models in pixel space or using a downsampled latent space of a separately trained auto-encoder. In this paper, we introduce Matryoshka Diffusion Models(MDM), an end-to-end framework for high-resolution image and video synthesis. We propose a diffusion process that denoises inputs at multiple resolutions jointly and uses a NestedUNet architecture where features and parameters for small-scale inputs are nested within those of large scales. In addition, MDM enables a progressive training schedule from lower to higher resolutions, which leads to significant improvements in optimization for high-resolution generation. We demonstrate the effectiveness of our approach on various benchmarks, including class-conditioned image generation, high-resolution text-to-image, and text-to-video applications. Remarkably, we can train a single pixel-space model at resolutions of up to 1024x1024 pixels, demonstrating strong zero-shot generalization using the CC12M dataset, which contains only 12 million images.