S^2-Guidance: Стохастическое саморуководство для бесплатного улучшения диффузионных моделей в процессе обучения

S^2-Guidance: Stochastic Self Guidance for Training-Free Enhancement of Diffusion Models

August 18, 2025

Авторы: Chubin Chen, Jiashu Zhu, Xiaokun Feng, Nisha Huang, Meiqi Wu, Fangyuan Mao, Jiahong Wu, Xiangxiang Chu, Xiu Li

cs.AI

Аннотация

Classifier-free Guidance (CFG) — это широко используемая техника в современных диффузионных моделях для повышения качества выборок и соответствия запросам. Однако, проведя эмпирический анализ на примере моделирования гауссовских смесей с аналитическим решением, мы наблюдаем расхождение между субоптимальными результатами, полученными с помощью CFG, и истинными значениями. Чрезмерная зависимость модели от этих субоптимальных прогнозов часто приводит к семантической несогласованности и низкому качеству выходных данных. Чтобы решить эту проблему, мы сначала эмпирически демонстрируем, что субоптимальные прогнозы модели могут быть эффективно улучшены с использованием подсетей самой модели. Основываясь на этом наблюдении, мы предлагаем S^2-Guidance — новый метод, который использует стохастическое отключение блоков в процессе прямого прохода для создания стохастических подсетей, эффективно направляя модель от потенциально низкокачественных прогнозов к высококачественным результатам. Многочисленные качественные и количественные эксперименты на задачах генерации изображений и видео по тексту показывают, что S^2-Guidance демонстрирует превосходную производительность, стабильно превосходя CFG и другие передовые стратегии управления. Наш код будет опубликован.

English

Classifier-free Guidance (CFG) is a widely used technique in modern diffusion models for enhancing sample quality and prompt adherence. However, through an empirical analysis on Gaussian mixture modeling with a closed-form solution, we observe a discrepancy between the suboptimal results produced by CFG and the ground truth. The model's excessive reliance on these suboptimal predictions often leads to semantic incoherence and low-quality outputs. To address this issue, we first empirically demonstrate that the model's suboptimal predictions can be effectively refined using sub-networks of the model itself. Building on this insight, we propose S^2-Guidance, a novel method that leverages stochastic block-dropping during the forward process to construct stochastic sub-networks, effectively guiding the model away from potential low-quality predictions and toward high-quality outputs. Extensive qualitative and quantitative experiments on text-to-image and text-to-video generation tasks demonstrate that S^2-Guidance delivers superior performance, consistently surpassing CFG and other advanced guidance strategies. Our code will be released.