Allineamento Temporale Guidato: Campionamento su Varietà nei Modelli di Diffusione

Temporal Alignment Guidance: On-Manifold Sampling in Diffusion Models

October 13, 2025

Autori: Youngrok Park, Hojung Jung, Sangmin Bae, Se-Young Yun

cs.AI

Abstract

I modelli di diffusione hanno ottenuto un successo notevole come modelli generativi. Tuttavia, anche un modello ben addestrato può accumulare errori durante il processo di generazione. Questi errori diventano particolarmente problematici quando viene applicata una guida arbitraria per indirizzare i campioni verso proprietà desiderate, il che spesso compromette la fedeltà del campione. In questo articolo, proponiamo una soluzione generale per affrontare il fenomeno del fuori-manifold osservato nei modelli di diffusione. Il nostro approccio sfrutta un predittore temporale per stimare le deviazioni dal manifold desiderato dei dati a ogni passo temporale, identificando che un intervallo temporale più ampio è associato a una qualità di generazione ridotta. Progettiamo quindi un nuovo meccanismo di guida, `Temporal Alignment Guidance' (TAG), che attira i campioni di nuovo verso il manifold desiderato a ogni passo temporale durante la generazione. Attraverso esperimenti estesi, dimostriamo che TAG produce costantemente campioni strettamente allineati con il manifold desiderato a ogni passo temporale, portando a miglioramenti significativi nella qualità della generazione in varie attività downstream.

English

Diffusion models have achieved remarkable success as generative models. However, even a well-trained model can accumulate errors throughout the generation process. These errors become particularly problematic when arbitrary guidance is applied to steer samples toward desired properties, which often breaks sample fidelity. In this paper, we propose a general solution to address the off-manifold phenomenon observed in diffusion models. Our approach leverages a time predictor to estimate deviations from the desired data manifold at each timestep, identifying that a larger time gap is associated with reduced generation quality. We then design a novel guidance mechanism, `Temporal Alignment Guidance' (TAG), attracting the samples back to the desired manifold at every timestep during generation. Through extensive experiments, we demonstrate that TAG consistently produces samples closely aligned with the desired manifold at each timestep, leading to significant improvements in generation quality across various downstream tasks.