SANA-Sprint: Difusão em Um Passo com Distilação de Consistência em Tempo Contínuo

SANA-Sprint: One-Step Diffusion with Continuous-Time Consistency Distillation

March 12, 2025

Autores: Junsong Chen, Shuchen Xue, Yuyang Zhao, Jincheng Yu, Sayak Paul, Junyu Chen, Han Cai, Enze Xie, Song Han

cs.AI

Resumo

Este artigo apresenta o SANA-Sprint, um modelo de difusão eficiente para geração ultrarrápida de texto para imagem (T2I). O SANA-Sprint é construído sobre um modelo base pré-treinado e aprimorado com destilação híbrida, reduzindo drasticamente os passos de inferência de 20 para 1-4. Introduzimos três inovações principais: (1) Propomos uma abordagem sem treinamento que transforma um modelo de correspondência de fluxo pré-treinado para destilação de consistência em tempo contínuo (sCM), eliminando o custoso treinamento do zero e alcançando alta eficiência de treinamento. Nossa estratégia de destilação híbrida combina sCM com destilação adversarial latente (LADD): o sCM garante alinhamento com o modelo professor, enquanto o LADD melhora a fidelidade da geração em um único passo. (2) O SANA-Sprint é um modelo unificado adaptativo a passos que alcança geração de alta qualidade em 1-4 passos, eliminando o treinamento específico por passo e melhorando a eficiência. (3) Integramos o ControlNet ao SANA-Sprint para geração de imagens interativas em tempo real, permitindo feedback visual instantâneo para interação do usuário. O SANA-Sprint estabelece uma nova fronteira de Pareto em compensações de velocidade-qualidade, alcançando desempenho de ponta com 7,59 FID e 0,74 GenEval em apenas 1 passo - superando o FLUX-schnell (7,94 FID / 0,71 GenEval) enquanto é 10x mais rápido (0,1s vs 1,1s no H100). Também alcança latência de 0,1s (T2I) e 0,25s (ControlNet) para imagens de 1024 x 1024 no H100, e 0,31s (T2I) em uma RTX 4090, demonstrando sua excepcional eficiência e potencial para aplicações de consumo impulsionadas por IA (AIPC). Código e modelos pré-treinados serão disponibilizados como código aberto.

English

This paper presents SANA-Sprint, an efficient diffusion model for ultra-fast text-to-image (T2I) generation. SANA-Sprint is built on a pre-trained foundation model and augmented with hybrid distillation, dramatically reducing inference steps from 20 to 1-4. We introduce three key innovations: (1) We propose a training-free approach that transforms a pre-trained flow-matching model for continuous-time consistency distillation (sCM), eliminating costly training from scratch and achieving high training efficiency. Our hybrid distillation strategy combines sCM with latent adversarial distillation (LADD): sCM ensures alignment with the teacher model, while LADD enhances single-step generation fidelity. (2) SANA-Sprint is a unified step-adaptive model that achieves high-quality generation in 1-4 steps, eliminating step-specific training and improving efficiency. (3) We integrate ControlNet with SANA-Sprint for real-time interactive image generation, enabling instant visual feedback for user interaction. SANA-Sprint establishes a new Pareto frontier in speed-quality tradeoffs, achieving state-of-the-art performance with 7.59 FID and 0.74 GenEval in only 1 step - outperforming FLUX-schnell (7.94 FID / 0.71 GenEval) while being 10x faster (0.1s vs 1.1s on H100). It also achieves 0.1s (T2I) and 0.25s (ControlNet) latency for 1024 x 1024 images on H100, and 0.31s (T2I) on an RTX 4090, showcasing its exceptional efficiency and potential for AI-powered consumer applications (AIPC). Code and pre-trained models will be open-sourced.