Orientación de Alineación Temporal: Muestreo en la Variedad en Modelos de Difusión

Temporal Alignment Guidance: On-Manifold Sampling in Diffusion Models

October 13, 2025

Autores: Youngrok Park, Hojung Jung, Sangmin Bae, Se-Young Yun

cs.AI

Resumen

Los modelos de difusión han logrado un éxito notable como modelos generativos. Sin embargo, incluso un modelo bien entrenado puede acumular errores a lo largo del proceso de generación. Estos errores se vuelven particularmente problemáticos cuando se aplica una guía arbitraria para dirigir las muestras hacia propiedades deseadas, lo que a menudo compromete la fidelidad de las muestras. En este artículo, proponemos una solución general para abordar el fenómeno de desviación del manifold observado en los modelos de difusión. Nuestro enfoque utiliza un predictor de tiempo para estimar las desviaciones del manifold de datos deseado en cada paso de tiempo, identificando que un mayor intervalo de tiempo está asociado con una reducción en la calidad de la generación. Luego, diseñamos un nuevo mecanismo de guía, denominado `Guía de Alineación Temporal' (TAG, por sus siglas en inglés), que atrae las muestras de vuelta al manifold deseado en cada paso de tiempo durante la generación. A través de experimentos exhaustivos, demostramos que TAG produce consistentemente muestras estrechamente alineadas con el manifold deseado en cada paso de tiempo, lo que conduce a mejoras significativas en la calidad de la generación en diversas tareas posteriores.

English

Diffusion models have achieved remarkable success as generative models. However, even a well-trained model can accumulate errors throughout the generation process. These errors become particularly problematic when arbitrary guidance is applied to steer samples toward desired properties, which often breaks sample fidelity. In this paper, we propose a general solution to address the off-manifold phenomenon observed in diffusion models. Our approach leverages a time predictor to estimate deviations from the desired data manifold at each timestep, identifying that a larger time gap is associated with reduced generation quality. We then design a novel guidance mechanism, `Temporal Alignment Guidance' (TAG), attracting the samples back to the desired manifold at every timestep during generation. Through extensive experiments, we demonstrate that TAG consistently produces samples closely aligned with the desired manifold at each timestep, leading to significant improvements in generation quality across various downstream tasks.