SANA 1.5: Effiziente Skalierung der Rechenleistung für das Training und die Inferenzzeit im Linearen Diffusions-Transformer

SANA 1.5: Efficient Scaling of Training-Time and Inference-Time Compute in Linear Diffusion Transformer

January 30, 2025

Autoren: Enze Xie, Junsong Chen, Yuyang Zhao, Jincheng Yu, Ligeng Zhu, Yujun Lin, Zhekai Zhang, Muyang Li, Junyu Chen, Han Cai, Bingchen Liu, Daquan Zhou, Song Han

cs.AI

Zusammenfassung

Dieses Paper präsentiert SANA-1.5, einen linearen Diffusions-Transformer zur effizienten Skalierung in der Text-zu-Bild-Erzeugung. Aufbauend auf SANA-1.0 führen wir drei Schlüsselinnovationen ein: (1) Effiziente Trainingsskalierung: Ein Tiefenwachstums-Paradigma, das die Skalierung von 1,6 Mrd. auf 4,8 Mrd. Parameter mit signifikant reduzierten Rechenressourcen ermöglicht, kombiniert mit einem speicher-effizienten 8-Bit-Optimierer. (2) Modelltiefenbeschneidung: Eine Block-Importanz-Analysetechnik für eine effiziente Modellkompression auf beliebige Größen mit minimalem Qualitätsverlust. (3) Skalierung zur Inferenzzeit: Eine wiederholte Abtaststrategie, die Rechenleistung gegen Modellkapazität eintauscht, um es kleineren Modellen zu ermöglichen, zur Inferenzzeit die Qualität größerer Modelle zu erreichen. Durch diese Strategien erreicht SANA-1.5 einen Text-Bild-Alignmentscore von 0,72 bei GenEval, der durch Inferenzskalierung auf 0,80 verbessert werden kann und damit einen neuen SoTA auf dem GenEval-Benchmark etabliert. Diese Innovationen ermöglichen eine effiziente Modellskalierung über verschiedene Rechenbudgets hinweg bei gleichbleibend hoher Qualität und machen die hochwertige Bildgenerierung zugänglicher.

English

This paper presents SANA-1.5, a linear Diffusion Transformer for efficient scaling in text-to-image generation. Building upon SANA-1.0, we introduce three key innovations: (1) Efficient Training Scaling: A depth-growth paradigm that enables scaling from 1.6B to 4.8B parameters with significantly reduced computational resources, combined with a memory-efficient 8-bit optimizer. (2) Model Depth Pruning: A block importance analysis technique for efficient model compression to arbitrary sizes with minimal quality loss. (3) Inference-time Scaling: A repeated sampling strategy that trades computation for model capacity, enabling smaller models to match larger model quality at inference time. Through these strategies, SANA-1.5 achieves a text-image alignment score of 0.72 on GenEval, which can be further improved to 0.80 through inference scaling, establishing a new SoTA on GenEval benchmark. These innovations enable efficient model scaling across different compute budgets while maintaining high quality, making high-quality image generation more accessible.