CAPITAINE : Injection de caractéristiques sémantiques pour l'atténuation de la mémorisation dans les modèles de diffusion texte-image
CAPTAIN: Semantic Feature Injection for Memorization Mitigation in Text-to-Image Diffusion Models
December 11, 2025
papers.authors: Tong Zhang, Carlos Hinojosa, Bernard Ghanem
cs.AI
papers.abstract
Les modèles de diffusion peuvent reproduire involontairement des exemples d'entraînement, soulevant des préoccupations en matière de confidentialité et de droits d'auteur alors que ces systèmes sont de plus en plus déployés à grande échelle. Les méthodes existantes d'atténuation au moment de l'inférence manipulent généralement le guidage sans classifieur (CFG) ou perturbent les embeddings de prompt ; cependant, elles peinent souvent à réduire la mémorisation sans compromettre l'alignement avec le prompt conditionnant. Nous présentons CAPTAIN, un framework sans entraînement qui atténue la mémorisation en modifiant directement les caractéristiques latentes pendant le débruitage. CAPTAIN applique d'abord une initialisation du bruit basée sur les fréquences pour réduire la tendance à reproduire les motifs mémorisés au début du processus de débruitage. Il identifie ensuite les intervalles de débruitage optimaux pour l'injection de caractéristiques et localise les régions mémorisées. Enfin, CAPTAIN injecte des caractéristiques sémantiquement alignées provenant d'images de référence non mémorisées dans les régions latentes localisées, supprimant la mémorisation tout en préservant la fidélité au prompt et la qualité visuelle. Nos expériences montrent que CAPTAIN permet des réductions substantielles de la mémorisation par rapport aux méthodes de référence basées sur le CFG, tout en maintenant un alignement solide avec le prompt intentionnel.
English
Diffusion models can unintentionally reproduce training examples, raising privacy and copyright concerns as these systems are increasingly deployed at scale. Existing inference-time mitigation methods typically manipulate classifier-free guidance (CFG) or perturb prompt embeddings; however, they often struggle to reduce memorization without compromising alignment with the conditioning prompt. We introduce CAPTAIN, a training-free framework that mitigates memorization by directly modifying latent features during denoising. CAPTAIN first applies frequency-based noise initialization to reduce the tendency to replicate memorized patterns early in the denoising process. It then identifies the optimal denoising timesteps for feature injection and localizes memorized regions. Finally, CAPTAIN injects semantically aligned features from non-memorized reference images into localized latent regions, suppressing memorization while preserving prompt fidelity and visual quality. Our experiments show that CAPTAIN achieves substantial reductions in memorization compared to CFG-based baselines while maintaining strong alignment with the intended prompt.