HiGS: Amostragem Guiada por Histórico para Aprimoramento Plug-and-Play de Modelos de Difusão

HiGS: History-Guided Sampling for Plug-and-Play Enhancement of Diffusion Models

September 26, 2025

Autores: Seyedmorteza Sadat, Farnood Salehi, Romann M. Weber

cs.AI

Resumo

Embora os modelos de difusão tenham alcançado progressos notáveis na geração de imagens, suas saídas ainda podem parecer irreais e carecer de detalhes refinados, especialmente ao utilizar um número reduzido de avaliações de funções neurais (NFEs) ou escalas de orientação mais baixas. Para abordar essa questão, propomos uma nova técnica de amostragem baseada em momento, denominada amostragem guiada por histórico (HiGS), que melhora a qualidade e a eficiência da amostragem de difusão ao integrar previsões recentes do modelo em cada etapa de inferência. Especificamente, o HiGS aproveita a diferença entre a previsão atual e uma média ponderada das previsões passadas para direcionar o processo de amostragem em direção a saídas mais realistas, com melhores detalhes e estrutura. Nossa abordagem introduz praticamente nenhum cálculo adicional e se integra perfeitamente aos frameworks de difusão existentes, não exigindo treinamento extra nem ajuste fino. Experimentos extensivos mostram que o HiGS melhora consistentemente a qualidade da imagem em diversos modelos e arquiteturas, sob diferentes orçamentos de amostragem e escalas de orientação. Além disso, utilizando um modelo SiT pré-treinado, o HiGS alcança um novo estado da arte com um FID de 1,61 para geração não orientada de ImageNet em 256x256 com apenas 30 etapas de amostragem (em vez das 250 padrão). Assim, apresentamos o HiGS como um aprimoramento plug-and-play para a amostragem de difusão padrão, permitindo geração mais rápida com maior fidelidade.

English

While diffusion models have made remarkable progress in image generation, their outputs can still appear unrealistic and lack fine details, especially when using fewer number of neural function evaluations (NFEs) or lower guidance scales. To address this issue, we propose a novel momentum-based sampling technique, termed history-guided sampling (HiGS), which enhances quality and efficiency of diffusion sampling by integrating recent model predictions into each inference step. Specifically, HiGS leverages the difference between the current prediction and a weighted average of past predictions to steer the sampling process toward more realistic outputs with better details and structure. Our approach introduces practically no additional computation and integrates seamlessly into existing diffusion frameworks, requiring neither extra training nor fine-tuning. Extensive experiments show that HiGS consistently improves image quality across diverse models and architectures and under varying sampling budgets and guidance scales. Moreover, using a pretrained SiT model, HiGS achieves a new state-of-the-art FID of 1.61 for unguided ImageNet generation at 256times256 with only 30 sampling steps (instead of the standard 250). We thus present HiGS as a plug-and-play enhancement to standard diffusion sampling that enables faster generation with higher fidelity.