Onderzoek naar Kenniszuivering in Multi-Teacher Kennisdistillatie voor LLM's
Exploring Knowledge Purification in Multi-Teacher Knowledge Distillation for LLMs
February 1, 2026
Auteurs: Ruihan Jin, Pengpeng Shao, Zhengqi Wen, Jinyang Wu, Mingkuan Feng, Shuo Yang, Chu Yuan Zhang, Jianhua Tao
cs.AI
Samenvatting
Kennisdistillatie is naar voren gekomen als een cruciale techniek voor het overdragen van kennis van sterkere grote taalmmodellen (LLM's) naar kleinere, efficiëntere modellen. Traditionele distillatiebenaderingen kampen echter met uitdagingen op het gebied van kennisconflicten en hoge resourcebehoeften, vooral wanneer gebruik wordt gemaakt van meerdere leraarmodellen. In dit artikel introduceren we het concept van Kenniszuivering, dat de redeneringen van meerdere leraar-LLM's consolideert tot één enkele redenering, waardoor conflicten worden verminderd en de efficiëntie wordt verbeterd. Om de effectiviteit van kenniszuivering te onderzoeken, stellen we verder vijf zuiveringsmethoden voor vanuit verschillende perspectieven. Onze experimenten tonen aan dat deze methoden niet alleen de prestaties van het gedistilleerde model verbeteren, maar ook kennisconflicten effectief verlichten. Bovendien vertonen router-gebaseerde methoden robuuste generalisatiecapaciteiten, wat het potentieel benadrukt van innovatieve zuiveringstechnieken voor het optimaliseren van multi-teacher distillatie en het vergemakkelijken van de praktische implementatie van krachtige maar lichtgewicht modellen.
English
Knowledge distillation has emerged as a pivotal technique for transferring knowledge from stronger large language models (LLMs) to smaller, more efficient models. However, traditional distillation approaches face challenges related to knowledge conflicts and high resource demands, particularly when leveraging multiple teacher models. In this paper, we introduce the concept of Knowledge Purification, which consolidates the rationales from multiple teacher LLMs into a single rationale, thereby mitigating conflicts and enhancing efficiency. To investigate the effectiveness of knowledge purification, we further propose five purification methods from various perspectives. Our experiments demonstrate that these methods not only improve the performance of the distilled model but also effectively alleviate knowledge conflicts. Moreover, router-based methods exhibit robust generalization capabilities, underscoring the potential of innovative purification techniques in optimizing multi-teacher distillation and facilitating the practical deployment of powerful yet lightweight models.