Erforschung der Wissensreinigung in der Multi-Teacher-Wissensdistillation für große Sprachmodelle
Exploring Knowledge Purification in Multi-Teacher Knowledge Distillation for LLMs
February 1, 2026
Autoren: Ruihan Jin, Pengpeng Shao, Zhengqi Wen, Jinyang Wu, Mingkuan Feng, Shuo Yang, Chu Yuan Zhang, Jianhua Tao
cs.AI
Zusammenfassung
Wissensdistillation hat sich zu einer zentralen Technik entwickelt, um Wissen von stärkeren großen Sprachmodellen (LLMs) auf kleinere, effizientere Modelle zu übertragen. Traditionelle Distillationsansätze stehen jedoch vor Herausforderungen in Bezug auf Wissenskonflikte und hohen Ressourcenbedarf, insbesondere bei der Nutzung mehrerer Lehrermodelle. In diesem Beitrag führen wir das Konzept der Wissenspurifikation ein, das die Begründungszusammenhänge mehrerer Lehrer-LLMs in einer einzigen Rationale zusammenführt, wodurch Konflikte gemindert und die Effizienz gesteigert wird. Um die Wirksamkeit der Wissenspurifikation zu untersuchen, schlagen wir fünf Purifikationsmethoden aus verschiedenen Perspektiven vor. Unsere Experimente zeigen, dass diese Methoden nicht nur die Leistung des distillierten Modells verbessern, sondern auch Wissenskonflikte wirksam reduzieren. Darüber hinaus weisen routerbasierte Methoden robuste Generalisierungsfähigkeiten auf, was das Potenzial innovativer Purifikationstechniken zur Optimierung der Multi-Teacher-Distillation und zur Erleichterung des praktischen Einsatzes leistungsstarker, aber schlanker Modelle unterstreicht.
English
Knowledge distillation has emerged as a pivotal technique for transferring knowledge from stronger large language models (LLMs) to smaller, more efficient models. However, traditional distillation approaches face challenges related to knowledge conflicts and high resource demands, particularly when leveraging multiple teacher models. In this paper, we introduce the concept of Knowledge Purification, which consolidates the rationales from multiple teacher LLMs into a single rationale, thereby mitigating conflicts and enhancing efficiency. To investigate the effectiveness of knowledge purification, we further propose five purification methods from various perspectives. Our experiments demonstrate that these methods not only improve the performance of the distilled model but also effectively alleviate knowledge conflicts. Moreover, router-based methods exhibit robust generalization capabilities, underscoring the potential of innovative purification techniques in optimizing multi-teacher distillation and facilitating the practical deployment of powerful yet lightweight models.