El Panorama de la Memorización en los LLM: Mecanismos, Medición y Mitigación

The Landscape of Memorization in LLMs: Mechanisms, Measurement, and Mitigation

July 8, 2025

Autores: Alexander Xiong, Xuandong Zhao, Aneesh Pappu, Dawn Song

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han demostrado capacidades notables en una amplia gama de tareas, pero también exhiben la memorización de sus datos de entrenamiento. Este fenómeno plantea preguntas críticas sobre el comportamiento de los modelos, los riesgos para la privacidad y la frontera entre el aprendizaje y la memorización. Para abordar estas preocupaciones, este artículo sintetiza estudios recientes e investiga el panorama de la memorización, los factores que la influencian y los métodos para su detección y mitigación. Exploramos impulsores clave, como la duplicación de datos de entrenamiento, la dinámica del entrenamiento y los procedimientos de ajuste fino que influyen en la memorización de datos. Además, examinamos metodologías como la extracción basada en prefijos, la inferencia de membresía y el uso de indicaciones adversarias, evaluando su efectividad en la detección y medición de contenido memorizado. Más allá del análisis técnico, también exploramos las implicaciones más amplias de la memorización, incluyendo las consecuencias legales y éticas. Finalmente, discutimos estrategias de mitigación, como la limpieza de datos, la privacidad diferencial y el desaprendizaje posterior al entrenamiento, destacando los desafíos abiertos en equilibrar la minimización de la memorización perjudicial con la utilidad. Este artículo ofrece una visión integral del estado actual de la investigación sobre la memorización en los LLMs, abarcando dimensiones técnicas, de privacidad y de rendimiento, e identificando direcciones críticas para trabajos futuros.

English

Large Language Models (LLMs) have demonstrated remarkable capabilities across a wide range of tasks, yet they also exhibit memorization of their training data. This phenomenon raises critical questions about model behavior, privacy risks, and the boundary between learning and memorization. Addressing these concerns, this paper synthesizes recent studies and investigates the landscape of memorization, the factors influencing it, and methods for its detection and mitigation. We explore key drivers, including training data duplication, training dynamics, and fine-tuning procedures that influence data memorization. In addition, we examine methodologies such as prefix-based extraction, membership inference, and adversarial prompting, assessing their effectiveness in detecting and measuring memorized content. Beyond technical analysis, we also explore the broader implications of memorization, including the legal and ethical implications. Finally, we discuss mitigation strategies, including data cleaning, differential privacy, and post-training unlearning, while highlighting open challenges in balancing the minimization of harmful memorization with utility. This paper provides a comprehensive overview of the current state of research on LLM memorization across technical, privacy, and performance dimensions, identifying critical directions for future work.