マトリョーシカ拡散モデル

要旨

拡散モデルは高品質な画像や動画を生成するための事実上の標準手法となっているが、高次元モデルの学習は計算量と最適化の課題から依然として困難な課題である。既存の手法では、ピクセル空間でカスケードモデルを訓練するか、別途訓練されたオートエンコーダのダウンサンプリングされた潜在空間を使用することが多い。本論文では、高解像度の画像および動画合成のためのエンドツーエンドフレームワークであるMatryoshka Diffusion Models（MDM）を提案する。我々は、複数の解像度で入力を同時にノイズ除去する拡散プロセスと、小規模な入力の特徴とパラメータが大規模なものにネストされたNestedUNetアーキテクチャを提案する。さらに、MDMは低解像度から高解像度へと段階的に進む訓練スケジュールを可能にし、高解像度生成の最適化において大幅な改善をもたらす。我々は、クラス条件付き画像生成、高解像度テキストから画像、テキストから動画への応用など、様々なベンチマークで本手法の有効性を実証する。特に、わずか1200万枚の画像を含むCC12Mデータセットを使用して、1024x1024ピクセルの解像度で単一のピクセル空間モデルを訓練し、強力なゼロショット汎化性能を示すことができる。

English

Diffusion models are the de facto approach for generating high-quality images and videos, but learning high-dimensional models remains a formidable task due to computational and optimization challenges. Existing methods often resort to training cascaded models in pixel space or using a downsampled latent space of a separately trained auto-encoder. In this paper, we introduce Matryoshka Diffusion Models(MDM), an end-to-end framework for high-resolution image and video synthesis. We propose a diffusion process that denoises inputs at multiple resolutions jointly and uses a NestedUNet architecture where features and parameters for small-scale inputs are nested within those of large scales. In addition, MDM enables a progressive training schedule from lower to higher resolutions, which leads to significant improvements in optimization for high-resolution generation. We demonstrate the effectiveness of our approach on various benchmarks, including class-conditioned image generation, high-resolution text-to-image, and text-to-video applications. Remarkably, we can train a single pixel-space model at resolutions of up to 1024x1024 pixels, demonstrating strong zero-shot generalization using the CC12M dataset, which contains only 12 million images.