Tijdelijke Uitlijningsbegeleiding: On-Manifold Bemonstering in Diffusiemodellen

Temporal Alignment Guidance: On-Manifold Sampling in Diffusion Models

October 13, 2025

Auteurs: Youngrok Park, Hojung Jung, Sangmin Bae, Se-Young Yun

cs.AI

Samenvatting

Diffusiemodellen hebben opmerkelijke successen geboekt als generatieve modellen. Echter, zelfs een goed getraind model kan fouten accumuleren gedurende het generatieproces. Deze fouten worden vooral problematisch wanneer willekeurige begeleiding wordt toegepast om samples naar gewenste eigenschappen te sturen, wat vaak de samplegetrouwheid aantast. In dit artikel presenteren we een algemene oplossing om het off-manifold fenomeen dat in diffusiemodellen wordt waargenomen, aan te pakken. Onze aanpak maakt gebruik van een tijdvoorspeller om afwijkingen van de gewenste datamanifold op elke tijdsstap te schatten, waarbij wordt vastgesteld dat een groter tijdsverschil gepaard gaat met een verminderde generatiekwaliteit. Vervolgens ontwerpen we een nieuw begeleidingsmechanisme, `Temporal Alignment Guidance' (TAG), dat de samples tijdens het generatieproces terugtrekt naar de gewenste manifold op elke tijdsstap. Door middel van uitgebreide experimenten tonen we aan dat TAG consistent samples produceert die nauw aansluiten bij de gewenste manifold op elke tijdsstap, wat leidt tot significante verbeteringen in de generatiekwaliteit voor diverse downstream taken.

English

Diffusion models have achieved remarkable success as generative models. However, even a well-trained model can accumulate errors throughout the generation process. These errors become particularly problematic when arbitrary guidance is applied to steer samples toward desired properties, which often breaks sample fidelity. In this paper, we propose a general solution to address the off-manifold phenomenon observed in diffusion models. Our approach leverages a time predictor to estimate deviations from the desired data manifold at each timestep, identifying that a larger time gap is associated with reduced generation quality. We then design a novel guidance mechanism, `Temporal Alignment Guidance' (TAG), attracting the samples back to the desired manifold at every timestep during generation. Through extensive experiments, we demonstrate that TAG consistently produces samples closely aligned with the desired manifold at each timestep, leading to significant improvements in generation quality across various downstream tasks.