SANA-Sprint: Eén-staps diffusie met continue-tijd consistentie-distillatie

SANA-Sprint: One-Step Diffusion with Continuous-Time Consistency Distillation

March 12, 2025

Auteurs: Junsong Chen, Shuchen Xue, Yuyang Zhao, Jincheng Yu, Sayak Paul, Junyu Chen, Han Cai, Enze Xie, Song Han

cs.AI

Samenvatting

Dit artikel presenteert SANA-Sprint, een efficiënt diffusiemodel voor ultra-snelle tekst-naar-beeld (T2I) generatie. SANA-Sprint is gebouwd op een vooraf getraind basis model en versterkt met hybride distillatie, waardoor het aantal inferentiestappen drastisch wordt teruggebracht van 20 naar 1-4. We introduceren drie belangrijke innovaties: (1) We stellen een trainingsvrije aanpak voor die een vooraf getraind flow-matching model transformeert voor continue-tijd consistentie distillatie (sCM), waardoor kostbare training vanaf nul wordt geëlimineerd en een hoge trainingsefficiëntie wordt bereikt. Onze hybride distillatiestrategie combineert sCM met latente adversariële distillatie (LADD): sCM zorgt voor afstemming met het leraarmodel, terwijl LADD de kwaliteit van enkelstapsgeneratie verbetert. (2) SANA-Sprint is een uniform stap-adaptief model dat hoogwaardige generatie bereikt in 1-4 stappen, waardoor stap-specifieke training wordt geëlimineerd en de efficiëntie wordt verbeterd. (3) We integreren ControlNet met SANA-Sprint voor real-time interactieve beeldgeneratie, waardoor directe visuele feedback voor gebruikersinteractie mogelijk wordt. SANA-Sprint stelt een nieuwe Pareto-grens vast in de afweging tussen snelheid en kwaliteit, waarbij state-of-the-art prestaties worden bereikt met 7.59 FID en 0.74 GenEval in slechts 1 stap - beter dan FLUX-schnell (7.94 FID / 0.71 GenEval) terwijl het 10x sneller is (0.1s vs 1.1s op H100). Het bereikt ook een latentie van 0.1s (T2I) en 0.25s (ControlNet) voor 1024 x 1024 beelden op H100, en 0.31s (T2I) op een RTX 4090, wat de uitzonderlijke efficiëntie en het potentieel voor AI-gestuurde consumententoepassingen (AIPC) aantoont. Code en vooraf getrainde modellen zullen openbaar worden gemaakt.

English

This paper presents SANA-Sprint, an efficient diffusion model for ultra-fast text-to-image (T2I) generation. SANA-Sprint is built on a pre-trained foundation model and augmented with hybrid distillation, dramatically reducing inference steps from 20 to 1-4. We introduce three key innovations: (1) We propose a training-free approach that transforms a pre-trained flow-matching model for continuous-time consistency distillation (sCM), eliminating costly training from scratch and achieving high training efficiency. Our hybrid distillation strategy combines sCM with latent adversarial distillation (LADD): sCM ensures alignment with the teacher model, while LADD enhances single-step generation fidelity. (2) SANA-Sprint is a unified step-adaptive model that achieves high-quality generation in 1-4 steps, eliminating step-specific training and improving efficiency. (3) We integrate ControlNet with SANA-Sprint for real-time interactive image generation, enabling instant visual feedback for user interaction. SANA-Sprint establishes a new Pareto frontier in speed-quality tradeoffs, achieving state-of-the-art performance with 7.59 FID and 0.74 GenEval in only 1 step - outperforming FLUX-schnell (7.94 FID / 0.71 GenEval) while being 10x faster (0.1s vs 1.1s on H100). It also achieves 0.1s (T2I) and 0.25s (ControlNet) latency for 1024 x 1024 images on H100, and 0.31s (T2I) on an RTX 4090, showcasing its exceptional efficiency and potential for AI-powered consumer applications (AIPC). Code and pre-trained models will be open-sourced.