Distillazione del pre-addestramento per modelli di linguaggio di grandi dimensioni: un'esplorazione dello spazio di progettazione

Pre-training Distillation for Large Language Models: A Design Space Exploration

October 21, 2024

Autori: Hao Peng, Xin Lv, Yushi Bai, Zijun Yao, Jiajie Zhang, Lei Hou, Juanzi Li

cs.AI

Abstract

La distillazione della conoscenza (KD) mira a trasferire la conoscenza da un grande modello docente a un modello studente più piccolo. Lavori precedenti che applicano la KD nel campo dei grandi modelli linguistici (LLM) si sono tipicamente concentrati sulla fase post-addestramento, in cui il LLM studente apprende direttamente dalle istruzioni e dalle risposte corrispondenti generate dal modello docente. In questo articolo, estendiamo la KD alla fase di pre-addestramento dei LLM, chiamata distillazione del pre-addestramento (PD). Conduciamo innanzitutto un esperimento preliminare utilizzando il GLM-4-9B come LLM docente per distillare un LLM studente con 1.9B di parametri, convalidando l'efficacia del PD. Considerando i fattori chiave di impatto della distillazione, esploriamo sistematicamente lo spazio di progettazione della distillazione del pre-addestramento su quattro aspetti: elaborazione dei logit, selezione della loss, legge di scalatura e logit offline o online. Conduciamo ampi esperimenti per esplorare lo spazio di progettazione della distillazione del pre-addestramento e individuiamo configurazioni migliori e conclusioni interessanti, come ad esempio il fatto che LLM studenti più grandi generalmente traggano maggior beneficio dalla distillazione del pre-addestramento, mentre un LLM docente più grande non garantisce necessariamente risultati migliori. Speriamo che la nostra esplorazione dello spazio di progettazione possa informare le future pratiche nella distillazione del pre-addestramento.

English

Knowledge distillation (KD) aims to transfer knowledge from a large teacher model to a smaller student model. Previous work applying KD in the field of large language models (LLMs) typically focused on the post-training phase, where the student LLM learns directly from instructions and corresponding responses generated by the teacher model. In this paper, we extend KD to the pre-training phase of LLMs, named pre-training distillation (PD). We first conduct a preliminary experiment using GLM-4-9B as the teacher LLM to distill a 1.9B parameter student LLM, validating the effectiveness of PD. Considering the key impact factors of distillation, we systematically explore the design space of pre-training distillation across four aspects: logits processing, loss selection, scaling law, and offline or online logits. We conduct extensive experiments to explore the design space of pre-training distillation and find better configurations and interesting conclusions, such as larger student LLMs generally benefiting more from pre-training distillation, while a larger teacher LLM does not necessarily guarantee better results. We hope our exploration of the design space will inform future practices in pre-training distillation.