SANA 1.5: 線形拡散トランスフォーマーにおけるトレーニング時間と推論時間の計算の効率的なスケーリング

SANA 1.5: Efficient Scaling of Training-Time and Inference-Time Compute in Linear Diffusion Transformer

January 30, 2025

著者: Enze Xie, Junsong Chen, Yuyang Zhao, Jincheng Yu, Ligeng Zhu, Yujun Lin, Zhekai Zhang, Muyang Li, Junyu Chen, Han Cai, Bingchen Liu, Daquan Zhou, Song Han

cs.AI

要旨

この論文では、テキストから画像を生成するための効率的なスケーリングを実現する線形ディフュージョントランスフォーマーであるSANA-1.5を提案します。SANA-1.0を基盤として、3つの主要な革新を導入しています：(1)効率的なトレーニングのスケーリング：1.6Bから4.8Bのパラメータにスケーリングを可能にする深さ成長パラダイムを採用し、計算リソースを大幅に削減するとともに、メモリ効率の良い8ビットオプティマイザを組み合わせています。(2)モデルの深さ剪定：効率的なモデルの圧縮のためのブロック重要度分析技術を導入し、最小限の品質損失で任意のサイズにモデルを圧縮します。(3)推論時のスケーリング：計算をモデルの容量と交換する反復サンプリング戦略を採用し、推論時に小さなモデルでも大きなモデルと同等の品質を実現します。これらの戦略により、SANA-1.5はGenEvalで0.72のテキスト-画像の整合性スコアを達成し、推論スケーリングを通じて0.80に向上させることができ、GenEvalベンチマークで新たなSoTAを確立します。これらの革新により、異なる計算予算間で効率的なモデルのスケーリングが可能となり、高品質な画像生成がよりアクセスしやすくなります。

English

This paper presents SANA-1.5, a linear Diffusion Transformer for efficient scaling in text-to-image generation. Building upon SANA-1.0, we introduce three key innovations: (1) Efficient Training Scaling: A depth-growth paradigm that enables scaling from 1.6B to 4.8B parameters with significantly reduced computational resources, combined with a memory-efficient 8-bit optimizer. (2) Model Depth Pruning: A block importance analysis technique for efficient model compression to arbitrary sizes with minimal quality loss. (3) Inference-time Scaling: A repeated sampling strategy that trades computation for model capacity, enabling smaller models to match larger model quality at inference time. Through these strategies, SANA-1.5 achieves a text-image alignment score of 0.72 on GenEval, which can be further improved to 0.80 through inference scaling, establishing a new SoTA on GenEval benchmark. These innovations enable efficient model scaling across different compute budgets while maintaining high quality, making high-quality image generation more accessible.