Le paysage de la mémorisation dans les LLM : mécanismes, mesure et atténuation

The Landscape of Memorization in LLMs: Mechanisms, Measurement, and Mitigation

July 8, 2025

papers.authors: Alexander Xiong, Xuandong Zhao, Aneesh Pappu, Dawn Song

cs.AI

papers.abstract

Les grands modèles de langage (LLM) ont démontré des capacités remarquables dans un large éventail de tâches, mais ils présentent également une tendance à mémoriser leurs données d'entraînement. Ce phénomène soulève des questions cruciales concernant le comportement des modèles, les risques pour la vie privée et la frontière entre apprentissage et mémorisation. Pour répondre à ces préoccupations, cet article synthétise des études récentes et explore le paysage de la mémorisation, les facteurs qui l'influencent, ainsi que les méthodes pour la détecter et l'atténuer. Nous examinons les principaux facteurs, notamment la duplication des données d'entraînement, la dynamique de l'entraînement et les procédures de fine-tuning qui influencent la mémorisation des données. De plus, nous étudions des méthodologies telles que l'extraction basée sur les préfixes, l'inférence d'appartenance et l'invocation adversative, en évaluant leur efficacité pour détecter et mesurer le contenu mémorisé. Au-delà de l'analyse technique, nous explorons également les implications plus larges de la mémorisation, y compris les aspects juridiques et éthiques. Enfin, nous discutons des stratégies d'atténuation, telles que le nettoyage des données, la confidentialité différentielle et le désapprentissage post-entraînement, tout en mettant en lumière les défis ouverts pour équilibrer la minimisation de la mémorisation nuisible avec l'utilité. Cet article offre un aperçu complet de l'état actuel de la recherche sur la mémorisation des LLM, couvrant les dimensions techniques, de confidentialité et de performance, et identifie des directions critiques pour les travaux futurs.

English

Large Language Models (LLMs) have demonstrated remarkable capabilities across a wide range of tasks, yet they also exhibit memorization of their training data. This phenomenon raises critical questions about model behavior, privacy risks, and the boundary between learning and memorization. Addressing these concerns, this paper synthesizes recent studies and investigates the landscape of memorization, the factors influencing it, and methods for its detection and mitigation. We explore key drivers, including training data duplication, training dynamics, and fine-tuning procedures that influence data memorization. In addition, we examine methodologies such as prefix-based extraction, membership inference, and adversarial prompting, assessing their effectiveness in detecting and measuring memorized content. Beyond technical analysis, we also explore the broader implications of memorization, including the legal and ethical implications. Finally, we discuss mitigation strategies, including data cleaning, differential privacy, and post-training unlearning, while highlighting open challenges in balancing the minimization of harmful memorization with utility. This paper provides a comprehensive overview of the current state of research on LLM memorization across technical, privacy, and performance dimensions, identifying critical directions for future work.