Исследование очистки знаний в многопреподавательском дистилляции знаний для больших языковых моделей

Exploring Knowledge Purification in Multi-Teacher Knowledge Distillation for LLMs

February 1, 2026

Авторы: Ruihan Jin, Pengpeng Shao, Zhengqi Wen, Jinyang Wu, Mingkuan Feng, Shuo Yang, Chu Yuan Zhang, Jianhua Tao

cs.AI

Аннотация

Дистилляция знаний стала ключевой методикой для передачи знаний от более мощных больших языковых моделей (LLM) к меньшим и более эффективным моделям. Однако традиционные подходы к дистилляции сталкиваются с проблемами, связанными с конфликтами знаний и высокими требованиями к ресурсам, особенно при использовании нескольких учительских моделей. В данной статье мы вводим концепцию Очистки Знаний, которая объединяет обоснования из нескольких учительских LLM в единое обоснование, тем самым смягчая конфликты и повышая эффективность. Для исследования эффективности очистки знаний мы дополнительно предлагаем пять методов очистки с различных точек зрения. Наши эксперименты демонстрируют, что эти методы не только улучшают производительность дистиллированной модели, но и эффективно alleviating конфликты знаний. Более того, маршрутизаторные методы демонстрируют robustные способности к обобщению, подчеркивая потенциал инновационных техник очистки в оптимизации многопреподавательской дистилляции и содействии практическому развертыванию мощных, но легковесных моделей.

English

Knowledge distillation has emerged as a pivotal technique for transferring knowledge from stronger large language models (LLMs) to smaller, more efficient models. However, traditional distillation approaches face challenges related to knowledge conflicts and high resource demands, particularly when leveraging multiple teacher models. In this paper, we introduce the concept of Knowledge Purification, which consolidates the rationales from multiple teacher LLMs into a single rationale, thereby mitigating conflicts and enhancing efficiency. To investigate the effectiveness of knowledge purification, we further propose five purification methods from various perspectives. Our experiments demonstrate that these methods not only improve the performance of the distilled model but also effectively alleviate knowledge conflicts. Moreover, router-based methods exhibit robust generalization capabilities, underscoring the potential of innovative purification techniques in optimizing multi-teacher distillation and facilitating the practical deployment of powerful yet lightweight models.