TAG: Tangentiale Verstärkungsführung für halluzinationsresistentes Diffusions-Sampling

TAG:Tangential Amplifying Guidance for Hallucination-Resistant Diffusion Sampling

October 6, 2025

papers.authors: Hyunmin Cho, Donghoon Ahn, Susung Hong, Jee Eun Kim, Seungryong Kim, Kyong Hwan Jin

cs.AI

papers.abstract

Aktuelle Diffusionsmodelle erreichen Spitzenleistungen in der Bildgenerierung, leiden jedoch häufig unter semantischen Inkonsistenzen oder Halluzinationen. Während verschiedene Inferenzzeit-Leitmethoden die Generierung verbessern können, arbeiten sie oft indirekt, indem sie sich auf externe Signale oder architektonische Modifikationen stützen, was zusätzlichen Rechenaufwand mit sich bringt. In diesem Artikel schlagen wir die Tangential Amplifying Guidance (TAG) vor, eine effizientere und direktere Leitmethode, die ausschließlich auf Trajektoriensignalen basiert, ohne das zugrunde liegende Diffusionsmodell zu verändern. TAG nutzt eine Zwischenprobe als Projektionsbasis und verstärkt die tangentialen Komponenten der geschätzten Scores in Bezug auf diese Basis, um die Abtasttrajektorie zu korrigieren. Wir formalisieren diesen Leitprozess durch eine Taylor-Entwicklung erster Ordnung, die zeigt, dass die Verstärkung der tangentialen Komponente den Zustand in Richtung höherer Wahrscheinlichkeitsregionen lenkt, wodurch Inkonsistenzen reduziert und die Probenqualität verbessert wird. TAG ist ein Plug-and-Play-Modul, das architekturunabhängig ist und die Abtasttreue von Diffusionsmodellen mit minimalem zusätzlichem Rechenaufwand verbessert, was eine neue Perspektive auf die Diffusion Guidance bietet.

English

Recent diffusion models achieve the state-of-the-art performance in image generation, but often suffer from semantic inconsistencies or hallucinations. While various inference-time guidance methods can enhance generation, they often operate indirectly by relying on external signals or architectural modifications, which introduces additional computational overhead. In this paper, we propose Tangential Amplifying Guidance (TAG), a more efficient and direct guidance method that operates solely on trajectory signals without modifying the underlying diffusion model. TAG leverages an intermediate sample as a projection basis and amplifies the tangential components of the estimated scores with respect to this basis to correct the sampling trajectory. We formalize this guidance process by leveraging a first-order Taylor expansion, which demonstrates that amplifying the tangential component steers the state toward higher-probability regions, thereby reducing inconsistencies and enhancing sample quality. TAG is a plug-and-play, architecture-agnostic module that improves diffusion sampling fidelity with minimal computational addition, offering a new perspective on diffusion guidance.