Динамика запоминания при дистилляции знаний в языковых моделях

Memorization Dynamics in Knowledge Distillation for Language Models

January 21, 2026

Авторы: Jaydeep Borkar, Karan Chadha, Niloofar Mireshghallah, Yuchen Zhang, Irina-Elena Veliche, Archi Mitra, David A. Smith, Zheng Xu, Diego Garcia-Olano

cs.AI

Аннотация

Дистилляция знаний (Knowledge Distillation, KD) все чаще применяется для передачи возможностей больших языковых моделей (LLM) малым, что обеспечивает значительное повышение эффективности и практической полезности, зачастую превосходя стандартное тонкое настраивание (fine-tuning). Помимо производительности, KD также исследуется как механизм сохранения конфиденциальности для снижения риска утечки обучающих данных. В то время как запоминание обучающих данных тщательно изучалось в контексте стандартного предварительного обучения и тонкой настройки, его динамика в условиях дистилляции знаний остается слабо изученной. В данной работе мы исследуем запоминание на всех этапах конвейера KD, используя три семейства больших языковых моделей (Pythia, OLMo-2, Qwen-3) и три набора данных (FineWeb, Wikitext, Nemotron-CC-v2). Мы обнаруживаем: (1) дистиллированные модели запоминают значительно меньше обучающих данных по сравнению со стандартным тонким настраиванием (сокращение запоминания более чем на 50%); (2) некоторые примеры по своей природе легче запомнить, и они составляют большую долю запоминания при дистилляции (свыше ~95%); (3) запоминание студентом (student model) можно предсказать до проведения дистилляции с использованием признаков на основе zlib-энтропии, дивергенции Кульбака-Лейблера и перплексии; и (4) хотя мягкая (soft) и жесткая (hard) дистилляции имеют схожие общие уровни запоминания, жесткая дистилляция представляет больший риск: она наследует в 2.7 раза больше специфичных для учителя (teacher model) примеров, чем мягкая. В целом, мы демонстрируем, что дистилляция может обеспечить как улучшенную обобщающую способность, так и сниженные риски запоминания по сравнению со стандартным тонким настраиванием.

English

Knowledge Distillation (KD) is increasingly adopted to transfer capabilities from large language models to smaller ones, offering significant improvements in efficiency and utility while often surpassing standard fine-tuning. Beyond performance, KD is also explored as a privacy-preserving mechanism to mitigate the risk of training data leakage. While training data memorization has been extensively studied in standard pre-training and fine-tuning settings, its dynamics in a knowledge distillation setup remain poorly understood. In this work, we study memorization across the KD pipeline using three large language model (LLM) families (Pythia, OLMo-2, Qwen-3) and three datasets (FineWeb, Wikitext, Nemotron-CC-v2). We find: (1) distilled models memorize significantly less training data than standard fine-tuning (reducing memorization by more than 50%); (2) some examples are inherently easier to memorize and account for a large fraction of memorization during distillation (over ~95%); (3) student memorization is predictable prior to distillation using features based on zlib entropy, KL divergence, and perplexity; and (4) while soft and hard distillation have similar overall memorization rates, hard distillation poses a greater risk: it inherits 2.7times more teacher-specific examples than soft distillation. Overall, we demonstrate that distillation can provide both improved generalization and reduced memorization risks compared to standard fine-tuning.