Matryoshka Diffusiemodellen

Samenvatting

Diffusiemodellen zijn de facto de aanpak voor het genereren van hoogwaardige afbeeldingen en video's, maar het leren van hoogdimensionale modellen blijft een formidabele taak vanwege computationele en optimalisatie-uitdagingen. Bestaande methoden nemen vaak hun toevlucht tot het trainen van gecascadeerde modellen in pixelruimte of het gebruik van een gedownsamplede latente ruimte van een apart getrainde auto-encoder. In dit artikel introduceren we Matryoshka Diffusiemodellen (MDM), een end-to-end framework voor synthese van hoge-resolutie afbeeldingen en video's. We stellen een diffusieproces voor dat invoer op meerdere resoluties gezamenlijk denoiseert en gebruiken een NestedUNet-architectuur waarbij kenmerken en parameters voor kleinschalige invoer genest zijn binnen die van grote schaal. Daarnaast maakt MDM een progressief trainingsschema mogelijk van lagere naar hogere resoluties, wat leidt tot aanzienlijke verbeteringen in optimalisatie voor hoge-resolutie generatie. We demonstreren de effectiviteit van onze aanpak op verschillende benchmarks, waaronder klasse-geconditioneerde afbeeldingsgeneratie, hoge-resolutie tekst-naar-afbeelding en tekst-naar-video toepassingen. Opmerkelijk is dat we een enkel pixelruimtemodel kunnen trainen bij resoluties tot 1024x1024 pixels, wat sterke zero-shot generalisatie demonstreert met behulp van de CC12M-dataset, die slechts 12 miljoen afbeeldingen bevat.

English

Diffusion models are the de facto approach for generating high-quality images and videos, but learning high-dimensional models remains a formidable task due to computational and optimization challenges. Existing methods often resort to training cascaded models in pixel space or using a downsampled latent space of a separately trained auto-encoder. In this paper, we introduce Matryoshka Diffusion Models(MDM), an end-to-end framework for high-resolution image and video synthesis. We propose a diffusion process that denoises inputs at multiple resolutions jointly and uses a NestedUNet architecture where features and parameters for small-scale inputs are nested within those of large scales. In addition, MDM enables a progressive training schedule from lower to higher resolutions, which leads to significant improvements in optimization for high-resolution generation. We demonstrate the effectiveness of our approach on various benchmarks, including class-conditioned image generation, high-resolution text-to-image, and text-to-video applications. Remarkably, we can train a single pixel-space model at resolutions of up to 1024x1024 pixels, demonstrating strong zero-shot generalization using the CC12M dataset, which contains only 12 million images.