Dinamiche della Memorizzazione nella Distillazione della Conoscenza per Modelli Linguistici
Memorization Dynamics in Knowledge Distillation for Language Models
January 21, 2026
Autori: Jaydeep Borkar, Karan Chadha, Niloofar Mireshghallah, Yuchen Zhang, Irina-Elena Veliche, Archi Mitra, David A. Smith, Zheng Xu, Diego Garcia-Olano
cs.AI
Abstract
La distillazione della conoscenza (KD) viene sempre più adottata per trasferire le capacità da modelli linguistici di grandi dimensioni a modelli più piccoli, offrendo miglioramenti significativi in termini di efficienza e utilità, superando spesso la messa a punto standard. Oltre alle prestazioni, la KD è anche esplorata come meccanismo per la preservazione della privacy per mitigare il rischio di perdita dei dati di addestramento. Sebbene la memorizzazione dei dati di addestramento sia stata ampiamente studiata negli scenari standard di pre-addestramento e messa a punto, le sue dinamiche in un contesto di distillazione della conoscenza rimangono poco comprese. In questo lavoro, studiamo la memorizzazione nell'intera pipeline della KD utilizzando tre famiglie di grandi modelli linguistici (Pythia, OLMo-2, Qwen-3) e tre dataset (FineWeb, Wikitext, Nemotron-CC-v2). Scopriamo che: (1) i modelli distillati memorizzano significativamente meno dati di addestramento rispetto alla messa a punto standard (riducendo la memorizzazione di oltre il 50%); (2) alcuni esempi sono intrinsecamente più facili da memorizzare e rappresentano una grande frazione della memorizzazione durante la distillazione (oltre il ~95%); (3) la memorizzazione dello studente è prevedibile prima della distillazione utilizzando caratteristiche basate su entropia zlib, divergenza KL e perplessità; e (4) sebbene la distillazione soft e hard abbiano tassi complessivi di memorizzazione simili, la distillazione hard presenta un rischio maggiore: eredita 2,7 volte più esempi specifici del docente rispetto alla distillazione soft. Nel complesso, dimostriamo che la distillazione può fornire sia una generalizzazione migliorata che rischi ridotti di memorizzazione rispetto alla messa a punto standard.
English
Knowledge Distillation (KD) is increasingly adopted to transfer capabilities from large language models to smaller ones, offering significant improvements in efficiency and utility while often surpassing standard fine-tuning. Beyond performance, KD is also explored as a privacy-preserving mechanism to mitigate the risk of training data leakage. While training data memorization has been extensively studied in standard pre-training and fine-tuning settings, its dynamics in a knowledge distillation setup remain poorly understood. In this work, we study memorization across the KD pipeline using three large language model (LLM) families (Pythia, OLMo-2, Qwen-3) and three datasets (FineWeb, Wikitext, Nemotron-CC-v2). We find: (1) distilled models memorize significantly less training data than standard fine-tuning (reducing memorization by more than 50%); (2) some examples are inherently easier to memorize and account for a large fraction of memorization during distillation (over ~95%); (3) student memorization is predictable prior to distillation using features based on zlib entropy, KL divergence, and perplexity; and (4) while soft and hard distillation have similar overall memorization rates, hard distillation poses a greater risk: it inherits 2.7times more teacher-specific examples than soft distillation. Overall, we demonstrate that distillation can provide both improved generalization and reduced memorization risks compared to standard fine-tuning.