DeLeaker: Dynamische Neugewichtung zur Inferenzzeit zur Minderung von semantischem Leckage in Text-zu-Bild-Modellen

DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models

October 16, 2025

papers.authors: Mor Ventura, Michael Toker, Or Patashnik, Yonatan Belinkov, Roi Reichart

cs.AI

papers.abstract

Text-to-Image (T2I)-Modelle haben sich rasant weiterentwickelt, bleiben jedoch anfällig für semantische Leckagen, den unbeabsichtigten Transfer semantisch verwandter Merkmale zwischen verschiedenen Entitäten. Bestehende Strategien zur Minderung dieses Problems basieren oft auf Optimierungsverfahren oder sind von externen Eingaben abhängig. Wir stellen DeLeaker vor, einen leichten, optimierungsfreien Ansatz zur Laufzeit, der Leckagen durch direkte Eingriffe in die Aufmerksamkeitskarten des Modells reduziert. Während des Diffusionsprozesses gewichtet DeLeaker die Aufmerksamkeitskarten dynamisch neu, um übermäßige Interaktionen zwischen Entitäten zu unterdrücken und gleichzeitig die Identität jeder Entität zu stärken. Um eine systematische Bewertung zu ermöglichen, führen wir SLIM (Semantic Leakage in IMages) ein, den ersten Datensatz, der sich speziell semantischen Leckagen widmet und 1.130 von Menschen verifizierte Proben aus verschiedenen Szenarien umfasst, zusammen mit einem neuartigen automatischen Bewertungsrahmen. Experimente zeigen, dass DeLeaker durchweg alle Vergleichsmodelle übertrifft, selbst wenn diese mit externen Informationen versorgt werden, und effektive Leckagenminderung ohne Einbußen bei der Treue oder Qualität erreicht. Diese Ergebnisse unterstreichen den Wert der Aufmerksamkeitssteuerung und ebnen den Weg für semantisch präzisere T2I-Modelle.

English

Text-to-Image (T2I) models have advanced rapidly, yet they remain vulnerable to semantic leakage, the unintended transfer of semantically related features between distinct entities. Existing mitigation strategies are often optimization-based or dependent on external inputs. We introduce DeLeaker, a lightweight, optimization-free inference-time approach that mitigates leakage by directly intervening on the model's attention maps. Throughout the diffusion process, DeLeaker dynamically reweights attention maps to suppress excessive cross-entity interactions while strengthening the identity of each entity. To support systematic evaluation, we introduce SLIM (Semantic Leakage in IMages), the first dataset dedicated to semantic leakage, comprising 1,130 human-verified samples spanning diverse scenarios, together with a novel automatic evaluation framework. Experiments demonstrate that DeLeaker consistently outperforms all baselines, even when they are provided with external information, achieving effective leakage mitigation without compromising fidelity or quality. These results underscore the value of attention control and pave the way for more semantically precise T2I models.