Die Landschaft der Memorisierung in LLMs: Mechanismen, Messung und Minderung

The Landscape of Memorization in LLMs: Mechanisms, Measurement, and Mitigation

July 8, 2025

papers.authors: Alexander Xiong, Xuandong Zhao, Aneesh Pappu, Dawn Song

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben bemerkenswerte Fähigkeiten in einer Vielzahl von Aufgaben gezeigt, doch sie weisen auch eine Tendenz zur Speicherung ihrer Trainingsdaten auf. Dieses Phänomen wirft kritische Fragen zum Modellverhalten, zu Datenschutzrisiken und zur Grenze zwischen Lernen und Auswendiglernen auf. In diesem Papier werden aktuelle Studien zusammengeführt und die Landschaft der Speicherung, die sie beeinflussenden Faktoren sowie Methoden zu ihrer Erkennung und Minderung untersucht. Wir beleuchten Schlüsseltreiber wie die Duplizierung von Trainingsdaten, Trainingsdynamiken und Feinabstimmungsverfahren, die die Datenspeicherung beeinflussen. Darüber hinaus untersuchen wir Methoden wie präfixbasierte Extraktion, Mitgliedschaftsinferenz und adversarielle Prompting, um deren Wirksamkeit bei der Erkennung und Messung gespeicherter Inhalte zu bewerten. Neben der technischen Analyse beleuchten wir auch die breiteren Implikationen der Speicherung, einschließlich der rechtlichen und ethischen Konsequenzen. Schließlich diskutieren wir Minderungsstrategien wie Datenbereinigung, differenzielle Privatsphäre und Post-Training-Unlearning und heben offene Herausforderungen bei der Balance zwischen der Minimierung schädlicher Speicherung und der Nutzbarkeit hervor. Dieses Papier bietet einen umfassenden Überblick über den aktuellen Stand der Forschung zur Speicherung in LLMs in technischer, datenschutzbezogener und leistungsbezogener Hinsicht und identifiziert kritische Richtungen für zukünftige Arbeiten.

English

Large Language Models (LLMs) have demonstrated remarkable capabilities across a wide range of tasks, yet they also exhibit memorization of their training data. This phenomenon raises critical questions about model behavior, privacy risks, and the boundary between learning and memorization. Addressing these concerns, this paper synthesizes recent studies and investigates the landscape of memorization, the factors influencing it, and methods for its detection and mitigation. We explore key drivers, including training data duplication, training dynamics, and fine-tuning procedures that influence data memorization. In addition, we examine methodologies such as prefix-based extraction, membership inference, and adversarial prompting, assessing their effectiveness in detecting and measuring memorized content. Beyond technical analysis, we also explore the broader implications of memorization, including the legal and ethical implications. Finally, we discuss mitigation strategies, including data cleaning, differential privacy, and post-training unlearning, while highlighting open challenges in balancing the minimization of harmful memorization with utility. This paper provides a comprehensive overview of the current state of research on LLM memorization across technical, privacy, and performance dimensions, identifying critical directions for future work.