O Panorama da Memorização em LLMs: Mecanismos, Medição e Mitigação
The Landscape of Memorization in LLMs: Mechanisms, Measurement, and Mitigation
July 8, 2025
Autores: Alexander Xiong, Xuandong Zhao, Aneesh Pappu, Dawn Song
cs.AI
Resumo
Os Modelos de Linguagem de Grande Escala (LLMs) demonstraram capacidades notáveis em uma ampla gama de tarefas, mas também exibem a memorização de seus dados de treinamento. Esse fenômeno levanta questões críticas sobre o comportamento dos modelos, riscos à privacidade e a fronteira entre aprendizado e memorização. Abordando essas preocupações, este artigo sintetiza estudos recentes e investiga o cenário da memorização, os fatores que a influenciam e os métodos para sua detecção e mitigação. Exploramos os principais impulsionadores, incluindo a duplicação de dados de treinamento, a dinâmica de treinamento e os procedimentos de ajuste fino que influenciam a memorização de dados. Além disso, examinamos metodologias como extração baseada em prefixos, inferência de associação e prompt adversarial, avaliando sua eficácia na detecção e medição de conteúdo memorizado. Além da análise técnica, também exploramos as implicações mais amplas da memorização, incluindo as implicações legais e éticas. Por fim, discutimos estratégias de mitigação, como limpeza de dados, privacidade diferencial e desaprendizado pós-treinamento, destacando desafios em aberto no equilíbrio entre a minimização da memorização prejudicial e a utilidade. Este artigo fornece uma visão abrangente do estado atual da pesquisa sobre memorização em LLMs nas dimensões técnica, de privacidade e de desempenho, identificando direções críticas para trabalhos futuros.
English
Large Language Models (LLMs) have demonstrated remarkable capabilities across
a wide range of tasks, yet they also exhibit memorization of their training
data. This phenomenon raises critical questions about model behavior, privacy
risks, and the boundary between learning and memorization. Addressing these
concerns, this paper synthesizes recent studies and investigates the landscape
of memorization, the factors influencing it, and methods for its detection and
mitigation. We explore key drivers, including training data duplication,
training dynamics, and fine-tuning procedures that influence data memorization.
In addition, we examine methodologies such as prefix-based extraction,
membership inference, and adversarial prompting, assessing their effectiveness
in detecting and measuring memorized content. Beyond technical analysis, we
also explore the broader implications of memorization, including the legal and
ethical implications. Finally, we discuss mitigation strategies, including data
cleaning, differential privacy, and post-training unlearning, while
highlighting open challenges in balancing the minimization of harmful
memorization with utility. This paper provides a comprehensive overview of the
current state of research on LLM memorization across technical, privacy, and
performance dimensions, identifying critical directions for future work.