SANA 1.5: Scalabilità efficiente del calcolo del tempo di addestramento e del tempo di inferenza nel Transformer a diffusione lineare

SANA 1.5: Efficient Scaling of Training-Time and Inference-Time Compute in Linear Diffusion Transformer

January 30, 2025

Autori: Enze Xie, Junsong Chen, Yuyang Zhao, Jincheng Yu, Ligeng Zhu, Yujun Lin, Zhekai Zhang, Muyang Li, Junyu Chen, Han Cai, Bingchen Liu, Daquan Zhou, Song Han

cs.AI

Abstract

Questo articolo presenta SANA-1.5, un Transformer lineare a diffusione per un'efficace scalabilità nella generazione di testo-immagine. Basandoci su SANA-1.0, introduciamo tre innovazioni chiave: (1) Scalabilità dell'addestramento efficiente: un paradigma di crescita della profondità che consente la scalabilità da 1,6 miliardi a 4,8 miliardi di parametri con una significativa riduzione delle risorse computazionali, combinato con un ottimizzatore efficiente a 8 bit. (2) Potatura della profondità del modello: una tecnica di analisi dell'importanza dei blocchi per una compressione efficiente del modello a dimensioni arbitrarie con minima perdita di qualità. (3) Scalabilità al momento dell'inferezza: una strategia di campionamento ripetuto che scambia la computazione per la capacità del modello, consentendo ai modelli più piccoli di eguagliare la qualità dei modelli più grandi al momento dell'inferezza. Attraverso queste strategie, SANA-1.5 raggiunge un punteggio di allineamento testo-immagine di 0,72 su GenEval, che può essere ulteriormente migliorato a 0,80 attraverso la scalabilità dell'inferezza, stabilendo un nuovo SoTA sul benchmark GenEval. Queste innovazioni consentono una scalabilità efficiente del modello attraverso diversi budget di calcolo mantenendo un'alta qualità, rendendo la generazione di immagini di alta qualità più accessibile.

English

This paper presents SANA-1.5, a linear Diffusion Transformer for efficient scaling in text-to-image generation. Building upon SANA-1.0, we introduce three key innovations: (1) Efficient Training Scaling: A depth-growth paradigm that enables scaling from 1.6B to 4.8B parameters with significantly reduced computational resources, combined with a memory-efficient 8-bit optimizer. (2) Model Depth Pruning: A block importance analysis technique for efficient model compression to arbitrary sizes with minimal quality loss. (3) Inference-time Scaling: A repeated sampling strategy that trades computation for model capacity, enabling smaller models to match larger model quality at inference time. Through these strategies, SANA-1.5 achieves a text-image alignment score of 0.72 on GenEval, which can be further improved to 0.80 through inference scaling, establishing a new SoTA on GenEval benchmark. These innovations enable efficient model scaling across different compute budgets while maintaining high quality, making high-quality image generation more accessible.