Il panorama della memorizzazione nei LLM: meccanismi, misurazione e mitigazione

The Landscape of Memorization in LLMs: Mechanisms, Measurement, and Mitigation

July 8, 2025

Autori: Alexander Xiong, Xuandong Zhao, Aneesh Pappu, Dawn Song

cs.AI

Abstract

I Large Language Model (LLM) hanno dimostrato capacità straordinarie in un'ampia gamma di compiti, ma mostrano anche una tendenza a memorizzare i dati di addestramento. Questo fenomeno solleva questioni cruciali riguardanti il comportamento dei modelli, i rischi per la privacy e il confine tra apprendimento e memorizzazione. Affrontando queste preoccupazioni, questo articolo sintetizza studi recenti e indaga il panorama della memorizzazione, i fattori che la influenzano e i metodi per la sua rilevazione e mitigazione. Esploriamo i principali fattori, tra cui la duplicazione dei dati di addestramento, le dinamiche di addestramento e le procedure di fine-tuning che influenzano la memorizzazione dei dati. Inoltre, esaminiamo metodologie come l'estrazione basata su prefissi, l'inferenza di appartenenza e il prompting avversario, valutando la loro efficacia nel rilevare e misurare il contenuto memorizzato. Oltre all'analisi tecnica, esploriamo anche le implicazioni più ampie della memorizzazione, inclusi gli aspetti legali ed etici. Infine, discutiamo strategie di mitigazione, come la pulizia dei dati, la privacy differenziale e l'unlearning post-addestramento, evidenziando le sfide aperte nel bilanciare la minimizzazione della memorizzazione dannosa con l'utilità. Questo articolo fornisce una panoramica completa dello stato attuale della ricerca sulla memorizzazione nei LLM, considerando le dimensioni tecniche, della privacy e delle prestazioni, e identifica direzioni critiche per il lavoro futuro.

English

Large Language Models (LLMs) have demonstrated remarkable capabilities across a wide range of tasks, yet they also exhibit memorization of their training data. This phenomenon raises critical questions about model behavior, privacy risks, and the boundary between learning and memorization. Addressing these concerns, this paper synthesizes recent studies and investigates the landscape of memorization, the factors influencing it, and methods for its detection and mitigation. We explore key drivers, including training data duplication, training dynamics, and fine-tuning procedures that influence data memorization. In addition, we examine methodologies such as prefix-based extraction, membership inference, and adversarial prompting, assessing their effectiveness in detecting and measuring memorized content. Beyond technical analysis, we also explore the broader implications of memorization, including the legal and ethical implications. Finally, we discuss mitigation strategies, including data cleaning, differential privacy, and post-training unlearning, while highlighting open challenges in balancing the minimization of harmful memorization with utility. This paper provides a comprehensive overview of the current state of research on LLM memorization across technical, privacy, and performance dimensions, identifying critical directions for future work.