HiGS: History-Guided Sampling zur Plug-and-Play-Optimierung von Diffusionsmodellen

HiGS: History-Guided Sampling for Plug-and-Play Enhancement of Diffusion Models

September 26, 2025

papers.authors: Seyedmorteza Sadat, Farnood Salehi, Romann M. Weber

cs.AI

papers.abstract

Während Diffusionsmodelle bemerkenswerte Fortschritte in der Bildgenerierung erzielt haben, können ihre Ausgaben immer noch unrealistisch wirken und feine Details vermissen, insbesondere bei der Verwendung einer geringeren Anzahl von neuronalen Funktionsauswertungen (NFEs) oder niedrigeren Leitwerten. Um dieses Problem zu adressieren, schlagen wir eine neuartige, momentum-basierte Sampling-Technik vor, die als history-guided sampling (HiGS) bezeichnet wird und die Qualität und Effizienz des Diffusionssamplings verbessert, indem sie aktuelle Modellvorhersagen in jeden Inferenzschritt integriert. Konkret nutzt HiGS die Differenz zwischen der aktuellen Vorhersage und einem gewichteten Durchschnitt vergangener Vorhersagen, um den Sampling-Prozess in Richtung realistischerer Ausgaben mit besserer Detailtreue und Struktur zu lenken. Unser Ansatz führt praktisch keine zusätzliche Berechnung ein und integriert sich nahtlos in bestehende Diffusionsframeworks, ohne zusätzliches Training oder Feinabstimmung zu erfordern. Umfangreiche Experimente zeigen, dass HiGS die Bildqualität über verschiedene Modelle und Architekturen hinweg sowie unter variierenden Sampling-Budgets und Leitwerten konsequent verbessert. Darüber hinaus erreicht HiGS mit einem vortrainierten SiT-Modell einen neuen State-of-the-art-FID von 1,61 für ungeleitete ImageNet-Generierung bei 256×256 mit nur 30 Sampling-Schritten (anstelle der standardmäßigen 250). Wir präsentieren HiGS somit als eine Plug-and-Play-Erweiterung des Standard-Diffusionssamplings, das eine schnellere Generierung mit höherer Detailtreue ermöglicht.

English

While diffusion models have made remarkable progress in image generation, their outputs can still appear unrealistic and lack fine details, especially when using fewer number of neural function evaluations (NFEs) or lower guidance scales. To address this issue, we propose a novel momentum-based sampling technique, termed history-guided sampling (HiGS), which enhances quality and efficiency of diffusion sampling by integrating recent model predictions into each inference step. Specifically, HiGS leverages the difference between the current prediction and a weighted average of past predictions to steer the sampling process toward more realistic outputs with better details and structure. Our approach introduces practically no additional computation and integrates seamlessly into existing diffusion frameworks, requiring neither extra training nor fine-tuning. Extensive experiments show that HiGS consistently improves image quality across diverse models and architectures and under varying sampling budgets and guidance scales. Moreover, using a pretrained SiT model, HiGS achieves a new state-of-the-art FID of 1.61 for unguided ImageNet generation at 256times256 with only 30 sampling steps (instead of the standard 250). We thus present HiGS as a plug-and-play enhancement to standard diffusion sampling that enables faster generation with higher fidelity.