Encontrando a Dori: La memorización en los modelos de difusión de texto a imagen es menos local de lo que se asume

Finding Dori: Memorization in Text-to-Image Diffusion Models Is Less Local Than Assumed

July 22, 2025

Autores: Antoni Kowalczuk, Dominik Hintersdorf, Lukas Struppek, Kristian Kersting, Adam Dziedzic, Franziska Boenisch

cs.AI

Resumen

Los modelos de difusión de texto a imagen (DMs, por sus siglas en inglés) han logrado un éxito notable en la generación de imágenes. Sin embargo, persisten preocupaciones sobre la privacidad de los datos y la propiedad intelectual debido a su potencial para memorizar y replicar inadvertidamente los datos de entrenamiento. Los esfuerzos recientes de mitigación se han centrado en identificar y podar los pesos responsables de desencadenar la replicación, basándose en la suposición de que la memorización puede localizarse. Nuestra investigación evalúa la solidez de estos enfoques basados en poda. Demostramos que, incluso después de la poda, ajustes menores en las incrustaciones de texto de las indicaciones de entrada son suficientes para volver a desencadenar la replicación de datos, lo que resalta la fragilidad de estas defensas. Además, cuestionamos la suposición fundamental de la localidad de la memorización, al mostrar que la replicación puede desencadenarse desde diversas ubicaciones dentro del espacio de incrustación de texto y sigue diferentes rutas en el modelo. Nuestros hallazgos indican que las estrategias de mitigación existentes son insuficientes y subrayan la necesidad de métodos que eliminen verdaderamente el contenido memorizado, en lugar de intentar suprimir su recuperación. Como primer paso en esta dirección, introducimos un novedoso método de ajuste fino adversarial que busca iterativamente los desencadenantes de replicación y actualiza el modelo para aumentar su robustez. A través de nuestra investigación, proporcionamos nuevas perspectivas sobre la naturaleza de la memorización en los DMs de texto a imagen y una base para construir una IA generativa más confiable y conforme.

English

Text-to-image diffusion models (DMs) have achieved remarkable success in image generation. However, concerns about data privacy and intellectual property remain due to their potential to inadvertently memorize and replicate training data. Recent mitigation efforts have focused on identifying and pruning weights responsible for triggering replication, based on the assumption that memorization can be localized. Our research assesses the robustness of these pruning-based approaches. We demonstrate that even after pruning, minor adjustments to text embeddings of input prompts are sufficient to re-trigger data replication, highlighting the fragility of these defenses. Furthermore, we challenge the fundamental assumption of memorization locality, by showing that replication can be triggered from diverse locations within the text embedding space, and follows different paths in the model. Our findings indicate that existing mitigation strategies are insufficient and underscore the need for methods that truly remove memorized content, rather than attempting to suppress its retrieval. As a first step in this direction, we introduce a novel adversarial fine-tuning method that iteratively searches for replication triggers and updates the model to increase robustness. Through our research, we provide fresh insights into the nature of memorization in text-to-image DMs and a foundation for building more trustworthy and compliant generative AI.