Memorisatiedynamiek in kennisdistillatie voor taalmodelen

Memorization Dynamics in Knowledge Distillation for Language Models

January 21, 2026

Auteurs: Jaydeep Borkar, Karan Chadha, Niloofar Mireshghallah, Yuchen Zhang, Irina-Elena Veliche, Archi Mitra, David A. Smith, Zheng Xu, Diego Garcia-Olano

cs.AI

Samenvatting

Kennisdistillatie (KD) wordt steeds vaker toegepast om capaciteiten van grote taalmodel(len) over te dragen naar kleinere modellen, wat aanzienlijke verbeteringen in efficiëntie en bruikbaarheid biedt en vaak de standaard fine-tuning overtreft. Naast prestaties wordt KD ook onderzocht als een privacybeschermend mechanisme om het risico op lekken van trainingsdata te verminderen. Hoewel het onthouden van trainingsdata uitgebreid is bestudeerd in standaard vooraf-trainen en fine-tuning settings, zijn de dynamieken ervan in een kennisdistillatie-opzet nog grotendeels onbegrepen. In dit werk bestuderen we het onthouden van data in de gehele KD-pijplijn met behulp van drie grote taalmodel-families (Pythia, OLMo-2, Qwen-3) en drie datasets (FineWeb, Wikitext, Nemotron-CC-v2). Wij constateren: (1) gedistilleerde modellen onthouden significant minder trainingsdata dan standaard fine-tuning (meer dan 50% reductie in onthouden data); (2) sommige voorbeelden zijn inherent makkelijker te onthouden en zijn verantwoordelijk voor een groot deel van het onthouden tijdens distillatie (meer dan ~95%); (3) het onthouden door het studentmodel is voorspelbaar vóór de distillatie met behulp van kenmerken gebaseerd op zlib-entropie, KL-divergentie en perplexiteit; en (4) hoewel zachte en harde distillatie vergelijkbare algemene percentages van onthouden data hebben, vormt harde distillatie een groter risico: het neemt 2,7 keer meer voorbeelden over die specifiek zijn voor het leraarmodel dan zachte distillatie. Over het geheel genomen tonen wij aan dat distillatie, vergeleken met standaard fine-tuning, zowel verbeterde generalisatie als verminderde risico's op het onthouden van data kan bieden.

English

Knowledge Distillation (KD) is increasingly adopted to transfer capabilities from large language models to smaller ones, offering significant improvements in efficiency and utility while often surpassing standard fine-tuning. Beyond performance, KD is also explored as a privacy-preserving mechanism to mitigate the risk of training data leakage. While training data memorization has been extensively studied in standard pre-training and fine-tuning settings, its dynamics in a knowledge distillation setup remain poorly understood. In this work, we study memorization across the KD pipeline using three large language model (LLM) families (Pythia, OLMo-2, Qwen-3) and three datasets (FineWeb, Wikitext, Nemotron-CC-v2). We find: (1) distilled models memorize significantly less training data than standard fine-tuning (reducing memorization by more than 50%); (2) some examples are inherently easier to memorize and account for a large fraction of memorization during distillation (over ~95%); (3) student memorization is predictable prior to distillation using features based on zlib entropy, KL divergence, and perplexity; and (4) while soft and hard distillation have similar overall memorization rates, hard distillation poses a greater risk: it inherits 2.7times more teacher-specific examples than soft distillation. Overall, we demonstrate that distillation can provide both improved generalization and reduced memorization risks compared to standard fine-tuning.