S^2-Guidance: Auto-Orientação Estocástica para Aprimoramento sem Treinamento de Modelos de Difusão

S^2-Guidance: Stochastic Self Guidance for Training-Free Enhancement of Diffusion Models

August 18, 2025

Autores: Chubin Chen, Jiashu Zhu, Xiaokun Feng, Nisha Huang, Meiqi Wu, Fangyuan Mao, Jiahong Wu, Xiangxiang Chu, Xiu Li

cs.AI

Resumo

A Orientação sem Classificador (Classifier-free Guidance - CFG) é uma técnica amplamente utilizada em modelos de difusão modernos para melhorar a qualidade das amostras e a aderência aos prompts. No entanto, por meio de uma análise empírica em modelagem de mistura gaussiana com uma solução de forma fechada, observamos uma discrepância entre os resultados subótimos produzidos pela CFG e a verdade fundamental. A dependência excessiva do modelo nessas previsões subótimas frequentemente leva a incoerências semânticas e saídas de baixa qualidade. Para abordar esse problema, primeiro demonstramos empiricamente que as previsões subótimas do modelo podem ser efetivamente refinadas usando sub-redes do próprio modelo. Com base nessa percepção, propomos a S^2-Guidance, um método inovador que aproveita o descarte estocástico de blocos durante o processo direto para construir sub-redes estocásticas, guiando efetivamente o modelo para longe de previsões de baixa qualidade potencial e em direção a saídas de alta qualidade. Experimentos qualitativos e quantitativos extensivos em tarefas de geração de texto para imagem e texto para vídeo demonstram que a S^2-Guidance oferece desempenho superior, superando consistentemente a CFG e outras estratégias avançadas de orientação. Nosso código será liberado.

English

Classifier-free Guidance (CFG) is a widely used technique in modern diffusion models for enhancing sample quality and prompt adherence. However, through an empirical analysis on Gaussian mixture modeling with a closed-form solution, we observe a discrepancy between the suboptimal results produced by CFG and the ground truth. The model's excessive reliance on these suboptimal predictions often leads to semantic incoherence and low-quality outputs. To address this issue, we first empirically demonstrate that the model's suboptimal predictions can be effectively refined using sub-networks of the model itself. Building on this insight, we propose S^2-Guidance, a novel method that leverages stochastic block-dropping during the forward process to construct stochastic sub-networks, effectively guiding the model away from potential low-quality predictions and toward high-quality outputs. Extensive qualitative and quantitative experiments on text-to-image and text-to-video generation tasks demonstrate that S^2-Guidance delivers superior performance, consistently surpassing CFG and other advanced guidance strategies. Our code will be released.