Sprint: Sparse-Dense Residual Fusion für effiziente Diffusion Transformer
Sprint: Sparse-Dense Residual Fusion for Efficient Diffusion Transformers
October 24, 2025
papers.authors: Dogyun Park, Moayed Haji-Ali, Yanyu Li, Willi Menapace, Sergey Tulyakov, Hyunwoo J. Kim, Aliaksandr Siarohin, Anil Kag
cs.AI
papers.abstract
Diffusion Transformers (DiTs) erzielen state-of-the-art Generative Performance, doch ihre quadratischen Trainingskosten in Abhängigkeit von der Sequenzlänge machen groß angelegtes Pre-Training prohibitiv teuer. Token Dropping kann die Trainingskosten senken, doch naive Strategien verschlechtern die Repräsentationen, und bestehende Methoden sind entweder parameterintensiv oder versagen bei hohen Drop-Raten. Wir stellen SPRINT vor, Sparse-Dense Residual Fusion for Efficient Diffusion Transformers, eine einfache Methode, die aggressives Token Dropping (bis zu 75 %) bei gleichbleibender Qualität ermöglicht. SPRINT nutzt die komplementären Rollen von flachen und tiefen Schichten: Frühe Schichten verarbeiten alle Tokens, um lokale Details zu erfassen, tiefere Schichten operieren auf einer spärlichen Teilmenge, um Berechnungen zu reduzieren, und ihre Ausgaben werden durch Residual Connections fusioniert. Das Training folgt einem Zwei-Stufen-Plan: Langes maskiertes Pre-Training für Effizienz, gefolgt von kurzem Fine-Tuning mit allen Tokens, um die Trainings-Inferenz-Lücke zu schließen. Auf ImageNet-1K 256x256 erzielt SPRINT eine 9,8-fache Trainingsersparnis bei vergleichbarem FID/FDD, und bei der Inferenz halbiert seine Path-Drop Guidance (PDG) die FLOPs nahezu und verbessert gleichzeitig die Qualität. Diese Ergebnisse etablieren SPRINT als eine einfache, effektive und allgemeine Lösung für effizientes DiT-Training.
English
Diffusion Transformers (DiTs) deliver state-of-the-art generative performance
but their quadratic training cost with sequence length makes large-scale
pretraining prohibitively expensive. Token dropping can reduce training cost,
yet na\"ive strategies degrade representations, and existing methods are either
parameter-heavy or fail at high drop ratios. We present SPRINT, Sparse--Dense
Residual Fusion for Efficient Diffusion Transformers, a simple method that
enables aggressive token dropping (up to 75%) while preserving quality. SPRINT
leverages the complementary roles of shallow and deep layers: early layers
process all tokens to capture local detail, deeper layers operate on a sparse
subset to cut computation, and their outputs are fused through residual
connections. Training follows a two-stage schedule: long masked pre-training
for efficiency followed by short full-token fine-tuning to close the
train--inference gap. On ImageNet-1K 256x256, SPRINT achieves 9.8x training
savings with comparable FID/FDD, and at inference, its Path-Drop Guidance (PDG)
nearly halves FLOPs while improving quality. These results establish SPRINT as
a simple, effective, and general solution for efficient DiT training.