SANA-Sprint: Diffusione in un Passo con Distillazione di Consistenza a Tempo Continuo

Abstract

Questo articolo presenta SANA-Sprint, un modello di diffusione efficiente per la generazione ultra-veloce di immagini da testo (T2I). SANA-Sprint è costruito su un modello di base pre-addestrato e potenziato con una distillazione ibrida, riducendo drasticamente i passaggi di inferenza da 20 a 1-4. Introduciamo tre innovazioni chiave: (1) Proponiamo un approccio senza addestramento che trasforma un modello pre-addestrato di flow-matching per la distillazione di consistenza in tempo continuo (sCM), eliminando il costoso addestramento da zero e ottenendo un'elevata efficienza di addestramento. La nostra strategia di distillazione ibrida combina sCM con la distillazione avversaria latente (LADD): sCM garantisce l'allineamento con il modello insegnante, mentre LADD migliora la fedeltà della generazione in un singolo passaggio. (2) SANA-Sprint è un modello unificato adattivo ai passaggi che raggiunge una generazione di alta qualità in 1-4 passaggi, eliminando l'addestramento specifico per ogni passaggio e migliorando l'efficienza. (3) Integriamo ControlNet con SANA-Sprint per la generazione di immagini interattiva in tempo reale, consentendo un feedback visivo immediato per l'interazione dell'utente. SANA-Sprint stabilisce una nuova frontiera di Pareto nei compromessi velocità-qualità, raggiungendo prestazioni all'avanguardia con 7.59 FID e 0.74 GenEval in un solo passaggio - superando FLUX-schnell (7.94 FID / 0.71 GenEval) mentre è 10 volte più veloce (0.1s vs 1.1s su H100). Raggiunge anche una latenza di 0.1s (T2I) e 0.25s (ControlNet) per immagini 1024 x 1024 su H100, e 0.31s (T2I) su una RTX 4090, dimostrando la sua eccezionale efficienza e il potenziale per applicazioni consumer alimentate da IA (AIPC). Il codice e i modelli pre-addestrati saranno open-source.

English

This paper presents SANA-Sprint, an efficient diffusion model for ultra-fast text-to-image (T2I) generation. SANA-Sprint is built on a pre-trained foundation model and augmented with hybrid distillation, dramatically reducing inference steps from 20 to 1-4. We introduce three key innovations: (1) We propose a training-free approach that transforms a pre-trained flow-matching model for continuous-time consistency distillation (sCM), eliminating costly training from scratch and achieving high training efficiency. Our hybrid distillation strategy combines sCM with latent adversarial distillation (LADD): sCM ensures alignment with the teacher model, while LADD enhances single-step generation fidelity. (2) SANA-Sprint is a unified step-adaptive model that achieves high-quality generation in 1-4 steps, eliminating step-specific training and improving efficiency. (3) We integrate ControlNet with SANA-Sprint for real-time interactive image generation, enabling instant visual feedback for user interaction. SANA-Sprint establishes a new Pareto frontier in speed-quality tradeoffs, achieving state-of-the-art performance with 7.59 FID and 0.74 GenEval in only 1 step - outperforming FLUX-schnell (7.94 FID / 0.71 GenEval) while being 10x faster (0.1s vs 1.1s on H100). It also achieves 0.1s (T2I) and 0.25s (ControlNet) latency for 1024 x 1024 images on H100, and 0.31s (T2I) on an RTX 4090, showcasing its exceptional efficiency and potential for AI-powered consumer applications (AIPC). Code and pre-trained models will be open-sourced.

SANA-Sprint: Diffusione in un Passo con Distillazione di Consistenza a Tempo Continuo

SANA-Sprint: One-Step Diffusion with Continuous-Time Consistency Distillation

Abstract

Support