スケーラブルな高解像度ピクセル空間画像合成のためのアワーグラス拡散トランスフォーマー

要旨

本論文では、Hourglass Diffusion Transformer（HDiT）を提案する。これはピクセル数に対して線形スケーリングを示す画像生成モデルであり、高解像度（例：1024×1024）での直接的なピクセル空間での学習を可能にする。Transformerアーキテクチャを基盤として構築されたHDiTは、数十億パラメータへのスケーリングが可能なTransformerの特性を活かし、畳み込みU-Netの効率性とTransformerのスケーラビリティの間のギャップを埋める。HDiTは、マルチスケールアーキテクチャ、潜在オートエンコーダ、または自己条件付けといった従来の高解像度学習技術を必要とせずに成功裏に学習を行う。ImageNet 256^2において既存モデルと競合する性能を示し、FFHQ-1024^2では拡散モデルにおける新たなstate-of-the-artを達成することを実証する。

English

We present the Hourglass Diffusion Transformer (HDiT), an image generative model that exhibits linear scaling with pixel count, supporting training at high-resolution (e.g. 1024 times 1024) directly in pixel-space. Building on the Transformer architecture, which is known to scale to billions of parameters, it bridges the gap between the efficiency of convolutional U-Nets and the scalability of Transformers. HDiT trains successfully without typical high-resolution training techniques such as multiscale architectures, latent autoencoders or self-conditioning. We demonstrate that HDiT performs competitively with existing models on ImageNet 256^2, and sets a new state-of-the-art for diffusion models on FFHQ-1024^2.

スケーラブルな高解像度ピクセル空間画像合成のためのアワーグラス拡散トランスフォーマー

Scalable High-Resolution Pixel-Space Image Synthesis with Hourglass Diffusion Transformers

要旨

Support