Glance: Beschleunigung von Diffusionsmodellen mit nur einer Stichprobe
Glance: Accelerating Diffusion Models with 1 Sample
December 2, 2025
papers.authors: Zhuobai Dong, Rui Zhao, Songjie Wu, Junchao Yi, Linjie Li, Zhengyuan Yang, Lijuan Wang, Alex Jinpeng Wang
cs.AI
papers.abstract
Diffusionsmodelle haben bemerkenswerte Erfolge in der Bildgenerierung erzielt, doch ihr Einsatz bleibt durch die hohen Rechenkosten und die Notwendigkeit zahlreicher Inferenzschritte eingeschränkt. Bisherige Ansätze zur Distillation mit weniger Schritten versuchen, redundante Schritte durch das Training kompakter Studentenmodelle zu überspringen, leiden jedoch oft unter hohen Nachtrainingskosten und einer beeinträchtigten Generalisierungsfähigkeit. In dieser Arbeit verfolgen wir einen anderen Ansatz: Wir beschleunigen intelligent, nicht gleichmäßig, indem wir geringere Beschleunigungen auf frühe semantische Phasen und größere auf spätere redundante Phasen anwenden. Wir setzen diese phasenbewusste Strategie mit zwei Experten um, die sich auf langsame bzw. schnelle Entrauschungsphasen spezialisieren. Überraschenderweise stellen wir fest, dass sich bereits durch die Ausstattung des Basismodells mit leichten LoRA-Adaptern sowohl eine effiziente Beschleunigung als auch eine starke Generalisierung erreichen lässt, anstatt großen Aufwand in das Nachtraining von Studentenmodellen zu investieren. Wir bezeichnen diese beiden Adapter als Slow-LoRA und Fast-LoRA. In umfangreichen Experimenten erreicht unsere Methode eine bis zu 5-fache Beschleunigung gegenüber dem Basismodell bei vergleichbarer visueller Qualität über verschiedene Benchmarks hinweg. Bemerkenswerterweise werden die LoRA-Experten mit nur 1 % der Stichproben auf einer einzelnen V100 innerhalb einer Stunde trainiert, dennoch generalisieren die resultierenden Modelle stark auf ungesehene Prompts.
English
Diffusion models have achieved remarkable success in image generation, yet their deployment remains constrained by the heavy computational cost and the need for numerous inference steps. Previous efforts on fewer-step distillation attempt to skip redundant steps by training compact student models, yet they often suffer from heavy retraining costs and degraded generalization. In this work, we take a different perspective: we accelerate smartly, not evenly, applying smaller speedups to early semantic stages and larger ones to later redundant phases. We instantiate this phase-aware strategy with two experts that specialize in slow and fast denoising phases. Surprisingly, instead of investing massive effort in retraining student models, we find that simply equipping the base model with lightweight LoRA adapters achieves both efficient acceleration and strong generalization. We refer to these two adapters as Slow-LoRA and Fast-LoRA. Through extensive experiments, our method achieves up to 5 acceleration over the base model while maintaining comparable visual quality across diverse benchmarks. Remarkably, the LoRA experts are trained with only 1 samples on a single V100 within one hour, yet the resulting models generalize strongly on unseen prompts.