DeLeaker: テキストから画像生成モデルにおける意味的漏洩軽減のための動的推論時再重み付け

要旨

テキストから画像（T2I）モデルは急速に進化しているが、依然としてセマンティックリーク（異なるエンティティ間での意図しないセマンティック関連特徴の転移）に対して脆弱である。既存の緩和策は、最適化ベースの手法や外部入力に依存するものが多い。本研究では、DeLeakerを提案する。これは、軽量で最適化を必要としない推論時アプローチであり、モデルのアテンションマップに直接介入することでリークを緩和する。拡散プロセス全体を通じて、DeLeakerはアテンションマップを動的に再重み付けし、過剰なエンティティ間相互作用を抑制するとともに、各エンティティのアイデンティティを強化する。体系的評価を支援するため、セマンティックリークに特化した初のデータセットであるSLIM（Semantic Leakage in IMages）を導入した。SLIMは、多様なシナリオにわたる1,130の人間による検証済みサンプルと、新たな自動評価フレームワークで構成されている。実験結果は、DeLeakerが外部情報を提供されたベースラインを一貫して上回り、忠実度や品質を損なうことなく効果的なリーク緩和を達成することを示している。これらの結果は、アテンション制御の価値を強調し、よりセマンティックに正確なT2Iモデルへの道を開くものである。

English

Text-to-Image (T2I) models have advanced rapidly, yet they remain vulnerable to semantic leakage, the unintended transfer of semantically related features between distinct entities. Existing mitigation strategies are often optimization-based or dependent on external inputs. We introduce DeLeaker, a lightweight, optimization-free inference-time approach that mitigates leakage by directly intervening on the model's attention maps. Throughout the diffusion process, DeLeaker dynamically reweights attention maps to suppress excessive cross-entity interactions while strengthening the identity of each entity. To support systematic evaluation, we introduce SLIM (Semantic Leakage in IMages), the first dataset dedicated to semantic leakage, comprising 1,130 human-verified samples spanning diverse scenarios, together with a novel automatic evaluation framework. Experiments demonstrate that DeLeaker consistently outperforms all baselines, even when they are provided with external information, achieving effective leakage mitigation without compromising fidelity or quality. These results underscore the value of attention control and pave the way for more semantically precise T2I models.

DeLeaker: テキストから画像生成モデルにおける意味的漏洩軽減のための動的推論時再重み付け

DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models

要旨

Support