CAPITÁN: Inyección de Características Semánticas para la Mitigación de la Memorización en Modelos de Difusión de Texto a Imagen
CAPTAIN: Semantic Feature Injection for Memorization Mitigation in Text-to-Image Diffusion Models
December 11, 2025
Autores: Tong Zhang, Carlos Hinojosa, Bernard Ghanem
cs.AI
Resumen
Los modelos de difusión pueden reproducir involuntariamente ejemplos de entrenamiento, lo que genera preocupaciones sobre privacidad y derechos de autor a medida que estos sistemas se implementan a mayor escala. Los métodos existentes de mitigación durante la inferencia generalmente manipulan la guía libre de clasificador (CFG) o perturban los embeddings de los prompts; sin embargo, suelen tener dificultades para reducir la memorización sin comprometer la alineación con el prompt condicionante. Presentamos CAPTAIN, un marco de trabajo que no requiere entrenamiento y mitiga la memorización modificando directamente las características latentes durante la eliminación de ruido. CAPTAIN aplica primero una inicialización de ruido basada en frecuencia para reducir la tendencia a replicar patrones memorizados al inicio del proceso de desruido. Luego identifica los pasos temporales óptimos de desruido para la inyección de características y localiza las regiones memorizadas. Finalmente, CAPTAIN inyecta características semánticamente alineadas procedentes de imágenes de referencia no memorizadas en las regiones latentes localizadas, suprimiendo la memorización mientras preserva la fidelidad al prompt y la calidad visual. Nuestros experimentos demuestran que CAPTAIN logra reducciones sustanciales en la memorización en comparación con los baselines basados en CFG, manteniendo una fuerte alineación con el prompt deseado.
English
Diffusion models can unintentionally reproduce training examples, raising privacy and copyright concerns as these systems are increasingly deployed at scale. Existing inference-time mitigation methods typically manipulate classifier-free guidance (CFG) or perturb prompt embeddings; however, they often struggle to reduce memorization without compromising alignment with the conditioning prompt. We introduce CAPTAIN, a training-free framework that mitigates memorization by directly modifying latent features during denoising. CAPTAIN first applies frequency-based noise initialization to reduce the tendency to replicate memorized patterns early in the denoising process. It then identifies the optimal denoising timesteps for feature injection and localizes memorized regions. Finally, CAPTAIN injects semantically aligned features from non-memorized reference images into localized latent regions, suppressing memorization while preserving prompt fidelity and visual quality. Our experiments show that CAPTAIN achieves substantial reductions in memorization compared to CFG-based baselines while maintaining strong alignment with the intended prompt.