SANA 1.5: Dimensionamento Eficiente do Tempo de Treinamento e Tempo de Inferência Computacional no Transformador de Difusão Linear

SANA 1.5: Efficient Scaling of Training-Time and Inference-Time Compute in Linear Diffusion Transformer

January 30, 2025

Autores: Enze Xie, Junsong Chen, Yuyang Zhao, Jincheng Yu, Ligeng Zhu, Yujun Lin, Zhekai Zhang, Muyang Li, Junyu Chen, Han Cai, Bingchen Liu, Daquan Zhou, Song Han

cs.AI

Resumo

Este artigo apresenta o SANA-1.5, um Transformador de Difusão Linear para escalabilidade eficiente na geração de texto para imagem. Construindo sobre o SANA-1.0, introduzimos três inovações-chave: (1) Escalonamento Eficiente do Treinamento: Um paradigma de crescimento em profundidade que permite a escalabilidade de 1,6B para 4,8B parâmetros com recursos computacionais significativamente reduzidos, combinado com um otimizador eficiente de 8 bits. (2) Poda de Profundidade do Modelo: Uma técnica de análise de importância de bloco para compressão eficiente do modelo para tamanhos arbitrários com perda mínima de qualidade. (3) Escalonamento no Tempo de Inferência: Uma estratégia de amostragem repetida que troca computação por capacidade do modelo, permitindo que modelos menores alcancem a qualidade de modelos maiores no tempo de inferência. Através dessas estratégias, o SANA-1.5 alcança uma pontuação de alinhamento texto-imagem de 0,72 no GenEval, que pode ser ainda melhorada para 0,80 através do escalonamento de inferência, estabelecendo um novo estado-da-arte no benchmark GenEval. Essas inovações possibilitam a escalabilidade eficiente do modelo em diferentes orçamentos computacionais mantendo alta qualidade, tornando a geração de imagens de alta qualidade mais acessível.

English

This paper presents SANA-1.5, a linear Diffusion Transformer for efficient scaling in text-to-image generation. Building upon SANA-1.0, we introduce three key innovations: (1) Efficient Training Scaling: A depth-growth paradigm that enables scaling from 1.6B to 4.8B parameters with significantly reduced computational resources, combined with a memory-efficient 8-bit optimizer. (2) Model Depth Pruning: A block importance analysis technique for efficient model compression to arbitrary sizes with minimal quality loss. (3) Inference-time Scaling: A repeated sampling strategy that trades computation for model capacity, enabling smaller models to match larger model quality at inference time. Through these strategies, SANA-1.5 achieves a text-image alignment score of 0.72 on GenEval, which can be further improved to 0.80 through inference scaling, establishing a new SoTA on GenEval benchmark. These innovations enable efficient model scaling across different compute budgets while maintaining high quality, making high-quality image generation more accessible.