Предварительное обучение дистилляции для больших языковых моделей: исследование пространства проектирования

Pre-training Distillation for Large Language Models: A Design Space Exploration

October 21, 2024

Авторы: Hao Peng, Xin Lv, Yushi Bai, Zijun Yao, Jiajie Zhang, Lei Hou, Juanzi Li

cs.AI

Аннотация

Дистилляция знаний (KD) направлена на передачу знаний от крупной модели-учителя к более компактной модели-ученику. Предыдущие исследования, применяющие дистилляцию знаний в области крупных языковых моделей (LLM), обычно сосредотачивались на этапе пост-тренировки, где модель-ученик напрямую учится от инструкций и соответствующих ответов, сгенерированных моделью-учителем. В данной статье мы расширяем применение KD на этап пре-тренировки LLM, назвав его дистилляцией пре-тренировки (PD). Сначала мы проводим предварительный эксперимент, используя GLM-4-9B в качестве модели-учителя для дистилляции модели-ученика с 1.9 млрд параметров, подтверждая эффективность PD. Учитывая ключевые факторы влияния дистилляции, мы систематически исследуем пространство проектирования дистилляции пре-тренировки в четырех аспектах: обработка логитов, выбор функции потерь, закон масштабирования и использование логитов оффлайн или онлайн. Мы проводим обширные эксперименты для исследования пространства проектирования дистилляции пре-тренировки и находим более эффективные конфигурации и интересные выводы, такие как то, что более крупные LLM-ы обычно больше выигрывают от дистилляции пре-тренировки, в то время как более крупная LLM-а учителя не гарантирует лучших результатов. Мы надеемся, что наше исследование пространства проектирования будет информативным для будущих практик в области дистилляции пре-тренировки.

English

Knowledge distillation (KD) aims to transfer knowledge from a large teacher model to a smaller student model. Previous work applying KD in the field of large language models (LLMs) typically focused on the post-training phase, where the student LLM learns directly from instructions and corresponding responses generated by the teacher model. In this paper, we extend KD to the pre-training phase of LLMs, named pre-training distillation (PD). We first conduct a preliminary experiment using GLM-4-9B as the teacher LLM to distill a 1.9B parameter student LLM, validating the effectiveness of PD. Considering the key impact factors of distillation, we systematically explore the design space of pre-training distillation across four aspects: logits processing, loss selection, scaling law, and offline or online logits. We conduct extensive experiments to explore the design space of pre-training distillation and find better configurations and interesting conclusions, such as larger student LLMs generally benefiting more from pre-training distillation, while a larger teacher LLM does not necessarily guarantee better results. We hope our exploration of the design space will inform future practices in pre-training distillation.