TAG: Tangentiële Amplificatiebegeleiding voor Hallucinatiebestendige Diffusie Steekproefname

TAG:Tangential Amplifying Guidance for Hallucination-Resistant Diffusion Sampling

October 6, 2025

Auteurs: Hyunmin Cho, Donghoon Ahn, Susung Hong, Jee Eun Kim, Seungryong Kim, Kyong Hwan Jin

cs.AI

Samenvatting

Recente diffusiemodellen behalen de state-of-the-art prestaties in beeldgeneratie, maar lijden vaak aan semantische inconsistenties of hallucinaties. Hoewel verschillende inferentie-tijd begeleidingsmethoden de generatie kunnen verbeteren, werken ze vaak indirect door te vertrouwen op externe signalen of architectuurwijzigingen, wat extra rekenkosten met zich meebrengt. In dit artikel stellen we Tangential Amplifying Guidance (TAG) voor, een efficiëntere en directere begeleidingsmethode die uitsluitend werkt op trajectsignalen zonder het onderliggende diffusiemodel aan te passen. TAG maakt gebruik van een tussenliggend monster als projectiebasis en versterkt de tangentiële componenten van de geschatte scores ten opzichte van deze basis om het bemonsteringspad te corrigeren. We formaliseren dit begeleidingsproces door gebruik te maken van een eerste-orde Taylor-expansie, wat aantoont dat het versterken van de tangentiële component de toestand richting hogere-waarschijnlijkheidsregio's stuurt, waardoor inconsistenties worden verminderd en de monsterkwaliteit wordt verbeterd. TAG is een plug-and-play, architectuuronafhankelijke module die de betrouwbaarheid van diffusiebemonstering verbetert met minimale rekenkundige toevoegingen, en biedt een nieuw perspectief op diffusiebegeleiding.

English

Recent diffusion models achieve the state-of-the-art performance in image generation, but often suffer from semantic inconsistencies or hallucinations. While various inference-time guidance methods can enhance generation, they often operate indirectly by relying on external signals or architectural modifications, which introduces additional computational overhead. In this paper, we propose Tangential Amplifying Guidance (TAG), a more efficient and direct guidance method that operates solely on trajectory signals without modifying the underlying diffusion model. TAG leverages an intermediate sample as a projection basis and amplifies the tangential components of the estimated scores with respect to this basis to correct the sampling trajectory. We formalize this guidance process by leveraging a first-order Taylor expansion, which demonstrates that amplifying the tangential component steers the state toward higher-probability regions, thereby reducing inconsistencies and enhancing sample quality. TAG is a plug-and-play, architecture-agnostic module that improves diffusion sampling fidelity with minimal computational addition, offering a new perspective on diffusion guidance.