Esplorazione della Purificazione della Conoscenza nella Distillazione della Conoscenza Multi-Docente per i Modelli Linguistici di Grande Dimensione
Exploring Knowledge Purification in Multi-Teacher Knowledge Distillation for LLMs
February 1, 2026
Autori: Ruihan Jin, Pengpeng Shao, Zhengqi Wen, Jinyang Wu, Mingkuan Feng, Shuo Yang, Chu Yuan Zhang, Jianhua Tao
cs.AI
Abstract
La distillazione della conoscenza è emersa come tecnica fondamentale per trasferire il sapere da modelli linguistici di grandi dimensioni (LLM) più potenti a modelli più piccoli ed efficienti. Tuttavia, gli approcci tradizionali di distillazione affrontano sfide legate a conflitti di conoscenza ed elevate richieste di risorse, specialmente quando si utilizzano più modelli insegnanti. In questo articolo, introduciamo il concetto di Purificazione della Conoscenza, che consolida le ragioni fondamentali di più LLM insegnanti in un'unica ragione, mitigando così i conflitti e migliorando l'efficienza. Per indagare l'efficacia della purificazione della conoscenza, proponiamo ulteriormente cinque metodi di purificazione da diverse prospettive. I nostri esperimenti dimostrano che questi metodi non solo migliorano le prestazioni del modello distillato, ma alleviano efficacemente i conflitti di conoscenza. Inoltre, i metodi basati su router mostrano capacità di generalizzazione robuste, sottolineando il potenziale delle tecniche di purificazione innovative nell'ottimizzare la distillazione multi-insegnante e nel facilitare la distribuzione pratica di modelli potenti ma leggeri.
English
Knowledge distillation has emerged as a pivotal technique for transferring knowledge from stronger large language models (LLMs) to smaller, more efficient models. However, traditional distillation approaches face challenges related to knowledge conflicts and high resource demands, particularly when leveraging multiple teacher models. In this paper, we introduce the concept of Knowledge Purification, which consolidates the rationales from multiple teacher LLMs into a single rationale, thereby mitigating conflicts and enhancing efficiency. To investigate the effectiveness of knowledge purification, we further propose five purification methods from various perspectives. Our experiments demonstrate that these methods not only improve the performance of the distilled model but also effectively alleviate knowledge conflicts. Moreover, router-based methods exhibit robust generalization capabilities, underscoring the potential of innovative purification techniques in optimizing multi-teacher distillation and facilitating the practical deployment of powerful yet lightweight models.