Beeldvrije Timestap-distillatie via Continue-Tijd Consistentie met Trajectorie-bemonsterde Paren
Image-Free Timestep Distillation via Continuous-Time Consistency with Trajectory-Sampled Pairs
November 25, 2025
Auteurs: Bao Tang, Shuai Zhang, Yueting Zhu, Jijun Xiang, Xin Yang, Li Yu, Wenyu Liu, Xinggang Wang
cs.AI
Samenvatting
Timestep-distillatie is een effectieve aanpak om de generatie-efficiëntie van diffusiemodellen te verbeteren. Het Consistentiemodel (CM) toont als een trajectgebaseerd raamwerk aanzienlijk potentieel vanwege zijn sterke theoretische basis en hoogwaardige generatie in weinig stappen. Desalniettemin zijn huidige methoden voor continue-tijd consistentiedistillatie nog sterk afhankelijk van trainingsdata en rekenresources, wat hun inzet in resourcebeperkte scenario's belemmert en de schaalbaarheid naar diverse domeinen beperkt. Om dit probleem aan te pakken, stellen we het Trajectory-Backward Consistentiemodel (TBCM) voor, dat de afhankelijkheid van externe trainingsdata elimineert door latentie-representaties rechtstreeks uit het generatietraject van het leraarmodel te extraheren. In tegenstelling tot conventionele methoden die VAE-codering en grootschalige datasets vereisen, verbetert ons zelfvoorzienende distillatieparadigma zowel de efficiëntie als de eenvoud aanzienlijk. Bovendien overbruggen de traject-geëxtraheerde voorbeelden van nature de distributiekloof tussen training en inferentie, waardoor een effectievere kennisoverdracht mogelijk wordt. Empirisch behaalt TBCM een FID van 6,52 en een CLIP-score van 28,08 op MJHQ-30k onder één-staps generatie, terwijl de trainingstijd met ongeveer 40% wordt verminderd in vergelijking met Sana-Sprint en aanzienlijk veel GPU-geheugen wordt bespaard, wat superieure efficiëntie aantoont zonder kwaliteit in te leveren. We onthullen verder de discrepantie in de diffusie-generatieruimte bij continue-tijd consistentiedistillatie en analyseren hoe samplingstrategieën de distillatieprestatie beïnvloeden, wat inzichten biedt voor toekomstig distillatieonderzoek. GitHub-link: https://github.com/hustvl/TBCM.
English
Timestep distillation is an effective approach for improving the generation efficiency of diffusion models. The Consistency Model (CM), as a trajectory-based framework, demonstrates significant potential due to its strong theoretical foundation and high-quality few-step generation. Nevertheless, current continuous-time consistency distillation methods still rely heavily on training data and computational resources, hindering their deployment in resource-constrained scenarios and limiting their scalability to diverse domains. To address this issue, we propose Trajectory-Backward Consistency Model (TBCM), which eliminates the dependence on external training data by extracting latent representations directly from the teacher model's generation trajectory. Unlike conventional methods that require VAE encoding and large-scale datasets, our self-contained distillation paradigm significantly improves both efficiency and simplicity. Moreover, the trajectory-extracted samples naturally bridge the distribution gap between training and inference, thereby enabling more effective knowledge transfer. Empirically, TBCM achieves 6.52 FID and 28.08 CLIP scores on MJHQ-30k under one-step generation, while reducing training time by approximately 40% compared to Sana-Sprint and saving a substantial amount of GPU memory, demonstrating superior efficiency without sacrificing quality. We further reveal the diffusion-generation space discrepancy in continuous-time consistency distillation and analyze how sampling strategies affect distillation performance, offering insights for future distillation research. GitHub Link: https://github.com/hustvl/TBCM.