Ландшафт запоминания в больших языковых моделях: механизмы, измерение и методы смягчения

The Landscape of Memorization in LLMs: Mechanisms, Measurement, and Mitigation

July 8, 2025

Авторы: Alexander Xiong, Xuandong Zhao, Aneesh Pappu, Dawn Song

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали впечатляющие способности в решении широкого спектра задач, однако они также проявляют склонность к запоминанию своих обучающих данных. Это явление поднимает важные вопросы о поведении моделей, рисках для конфиденциальности и границе между обучением и запоминанием. В данной статье, рассматривая эти проблемы, обобщаются последние исследования и исследуется ландшафт запоминания, факторы, влияющие на него, а также методы его обнаружения и смягчения. Мы изучаем ключевые факторы, включая дублирование обучающих данных, динамику обучения и процедуры тонкой настройки, которые влияют на запоминание данных. Кроме того, мы рассматриваем методологии, такие как извлечение на основе префиксов, вывод членства и адверсарные запросы, оценивая их эффективность в обнаружении и измерении запомненного содержимого. Помимо технического анализа, мы также исследуем более широкие последствия запоминания, включая юридические и этические аспекты. Наконец, мы обсуждаем стратегии смягчения, такие как очистка данных, дифференциальная приватность и посттренировочное "забывание", подчеркивая открытые вызовы в балансировании минимизации вредного запоминания с полезностью. Данная статья предоставляет всесторонний обзор текущего состояния исследований по запоминанию в LLM, охватывая технические, конфиденциальные и производительностные аспекты, и определяет ключевые направления для будущих исследований.

English

Large Language Models (LLMs) have demonstrated remarkable capabilities across a wide range of tasks, yet they also exhibit memorization of their training data. This phenomenon raises critical questions about model behavior, privacy risks, and the boundary between learning and memorization. Addressing these concerns, this paper synthesizes recent studies and investigates the landscape of memorization, the factors influencing it, and methods for its detection and mitigation. We explore key drivers, including training data duplication, training dynamics, and fine-tuning procedures that influence data memorization. In addition, we examine methodologies such as prefix-based extraction, membership inference, and adversarial prompting, assessing their effectiveness in detecting and measuring memorized content. Beyond technical analysis, we also explore the broader implications of memorization, including the legal and ethical implications. Finally, we discuss mitigation strategies, including data cleaning, differential privacy, and post-training unlearning, while highlighting open challenges in balancing the minimization of harmful memorization with utility. This paper provides a comprehensive overview of the current state of research on LLM memorization across technical, privacy, and performance dimensions, identifying critical directions for future work.