Modèles de diffusion Matriochka

Résumé

Les modèles de diffusion sont l'approche de facto pour générer des images et des vidéos de haute qualité, mais l'apprentissage de modèles en haute dimension reste une tâche redoutable en raison des défis computationnels et d'optimisation. Les méthodes existantes recourent souvent à l'entraînement de modèles en cascade dans l'espace des pixels ou à l'utilisation d'un espace latent sous-échantillonné d'un auto-encodeur préalablement entraîné. Dans cet article, nous présentons les Matryoshka Diffusion Models (MDM), un cadre de travail end-to-end pour la synthèse d'images et de vidéos en haute résolution. Nous proposons un processus de diffusion qui débruite les entrées à plusieurs résolutions conjointement et utilise une architecture NestedUNet où les caractéristiques et paramètres pour les entrées à petite échelle sont imbriqués dans ceux des grandes échelles. De plus, MDM permet un plan d'entraînement progressif des résolutions basses vers les hautes, ce qui conduit à des améliorations significatives dans l'optimisation pour la génération en haute résolution. Nous démontrons l'efficacité de notre approche sur divers benchmarks, incluant la génération d'images conditionnées par classe, la génération d'images haute résolution à partir de texte, et les applications texte-à-vidéo. De manière remarquable, nous pouvons entraîner un seul modèle dans l'espace des pixels à des résolutions allant jusqu'à 1024x1024 pixels, démontrant une forte généralisation zero-shot en utilisant le jeu de données CC12M, qui ne contient que 12 millions d'images.

English

Diffusion models are the de facto approach for generating high-quality images and videos, but learning high-dimensional models remains a formidable task due to computational and optimization challenges. Existing methods often resort to training cascaded models in pixel space or using a downsampled latent space of a separately trained auto-encoder. In this paper, we introduce Matryoshka Diffusion Models(MDM), an end-to-end framework for high-resolution image and video synthesis. We propose a diffusion process that denoises inputs at multiple resolutions jointly and uses a NestedUNet architecture where features and parameters for small-scale inputs are nested within those of large scales. In addition, MDM enables a progressive training schedule from lower to higher resolutions, which leads to significant improvements in optimization for high-resolution generation. We demonstrate the effectiveness of our approach on various benchmarks, including class-conditioned image generation, high-resolution text-to-image, and text-to-video applications. Remarkably, we can train a single pixel-space model at resolutions of up to 1024x1024 pixels, demonstrating strong zero-shot generalization using the CC12M dataset, which contains only 12 million images.