CAPTAIN: Injeção de Características Semânticas para Mitigação de Memorização em Modelos de Difusão de Texto para Imagem
CAPTAIN: Semantic Feature Injection for Memorization Mitigation in Text-to-Image Diffusion Models
December 11, 2025
Autores: Tong Zhang, Carlos Hinojosa, Bernard Ghanem
cs.AI
Resumo
Os modelos de difusão podem reproduzir involuntariamente exemplos de treinamento, levantando preocupações sobre privacidade e direitos autorais à medida que esses sistemas são cada vez mais implantados em larga escala. Os métodos de mitigação existentes no momento da inferência geralmente manipulam a orientação sem classificador (CFG) ou perturbam embeddings de prompt; no entanto, eles frequentemente têm dificuldade em reduzir a memorização sem comprometer o alinhamento com o prompt condicionante. Apresentamos o CAPTAIN, uma estrutura livre de treinamento que mitiga a memorização modificando diretamente as características latentes durante a desruídosificação. O CAPTAIN aplica primeiro uma inicialização de ruído baseada em frequência para reduzir a tendência de replicar padrões memorizados no início do processo de desruídosificação. Em seguida, identifica os intervalos de tempo ideais de desruídosificação para injeção de características e localiza as regiões memorizadas. Finalmente, o CAPTAIN injeta características semanticamente alinhadas de imagens de referência não memorizadas nas regiões latentes localizadas, suprimindo a memorização enquanto preserva a fidelidade ao prompt e a qualidade visual. Nossos experimentos mostram que o CAPTAIN alcança reduções substanciais na memorização em comparação com as linhas de base baseadas em CFG, mantendo um forte alinhamento com o prompt pretendido.
English
Diffusion models can unintentionally reproduce training examples, raising privacy and copyright concerns as these systems are increasingly deployed at scale. Existing inference-time mitigation methods typically manipulate classifier-free guidance (CFG) or perturb prompt embeddings; however, they often struggle to reduce memorization without compromising alignment with the conditioning prompt. We introduce CAPTAIN, a training-free framework that mitigates memorization by directly modifying latent features during denoising. CAPTAIN first applies frequency-based noise initialization to reduce the tendency to replicate memorized patterns early in the denoising process. It then identifies the optimal denoising timesteps for feature injection and localizes memorized regions. Finally, CAPTAIN injects semantically aligned features from non-memorized reference images into localized latent regions, suppressing memorization while preserving prompt fidelity and visual quality. Our experiments show that CAPTAIN achieves substantial reductions in memorization compared to CFG-based baselines while maintaining strong alignment with the intended prompt.