Временное согласование направлений: Выборка на многообразии в диффузионных моделях

Temporal Alignment Guidance: On-Manifold Sampling in Diffusion Models

October 13, 2025

Авторы: Youngrok Park, Hojung Jung, Sangmin Bae, Se-Young Yun

cs.AI

Аннотация

Диффузионные модели достигли впечатляющих успехов в качестве генеративных моделей. Однако даже хорошо обученная модель может накапливать ошибки в процессе генерации. Эти ошибки становятся особенно проблематичными, когда применяется произвольное управление для направления выборок к желаемым свойствам, что часто нарушает точность выборок. В данной статье мы предлагаем общее решение для устранения явления отклонения от многообразия, наблюдаемого в диффузионных моделях. Наш подход использует временной предиктор для оценки отклонений от желаемого многообразия данных на каждом шаге, выявляя, что больший временной интервал связан с ухудшением качества генерации. Затем мы разрабатываем новый механизм управления, называемый "Временное согласующее управление" (TAG), который притягивает выборки обратно к желаемому многообразию на каждом шаге генерации. В ходе обширных экспериментов мы демонстрируем, что TAG последовательно создает выборки, тесно связанные с желаемым многообразием на каждом шаге, что приводит к значительному улучшению качества генерации в различных прикладных задачах.

English

Diffusion models have achieved remarkable success as generative models. However, even a well-trained model can accumulate errors throughout the generation process. These errors become particularly problematic when arbitrary guidance is applied to steer samples toward desired properties, which often breaks sample fidelity. In this paper, we propose a general solution to address the off-manifold phenomenon observed in diffusion models. Our approach leverages a time predictor to estimate deviations from the desired data manifold at each timestep, identifying that a larger time gap is associated with reduced generation quality. We then design a novel guidance mechanism, `Temporal Alignment Guidance' (TAG), attracting the samples back to the desired manifold at every timestep during generation. Through extensive experiments, we demonstrate that TAG consistently produces samples closely aligned with the desired manifold at each timestep, leading to significant improvements in generation quality across various downstream tasks.