Mentor-KD : Améliorer les petits modèles de langage en tant que raisonneurs multi-étapes

Mentor-KD: Making Small Language Models Better Multi-step Reasoners

October 11, 2024

Auteurs: Hojae Lee, Junho Kim, SangKeun Lee

cs.AI

Résumé

Les grands modèles de langage (LLM) ont affiché des performances remarquables dans diverses tâches complexes en exploitant la technique de Chaîne de Pensée (CoT). Récemment, des études ont proposé une approche de Distillation des Connaissances (KD), la distillation de raisonnement, qui transfère cette capacité de raisonnement des LLM en affinant les modèles de langage avec des explications en plusieurs étapes générées par les enseignants LLM. Cependant, ils n'ont pas suffisamment pris en compte deux défis concernant les ensembles de distillation insuffisants du modèle enseignant LLM, en termes de 1) qualité des données et 2) fourniture d'étiquettes souples. Dans cet article, nous proposons Mentor-KD, qui distille efficacement la capacité de raisonnement en plusieurs étapes des LLM vers des plus petits LMs tout en abordant les défis mentionnés ci-dessus. Plus précisément, nous exploitons un mentor, un modèle intermédiaire de taille spécifique à la tâche, pour ajouter des annotations CoT supplémentaires et fournir des étiquettes souples pour le modèle étudiant lors de la distillation du raisonnement. Nous menons des expériences approfondies et confirmons l'efficacité de Mentor-KD sur divers modèles et tâches de raisonnement complexes.

English

Large Language Models (LLMs) have displayed remarkable performances across various complex tasks by leveraging Chain-of-Thought (CoT) prompting. Recently, studies have proposed a Knowledge Distillation (KD) approach, reasoning distillation, which transfers such reasoning ability of LLMs through fine-tuning language models of multi-step rationales generated by LLM teachers. However, they have inadequately considered two challenges regarding insufficient distillation sets from the LLM teacher model, in terms of 1) data quality and 2) soft label provision. In this paper, we propose Mentor-KD, which effectively distills the multi-step reasoning capability of LLMs to smaller LMs while addressing the aforementioned challenges. Specifically, we exploit a mentor, intermediate-sized task-specific fine-tuned model, to augment additional CoT annotations and provide soft labels for the student model during reasoning distillation. We conduct extensive experiments and confirm Mentor-KD's effectiveness across various models and complex reasoning tasks.