Mentor-KD: Verbesserung kleiner Sprachmodelle durch Multi-Schritt-Begründungen

Mentor-KD: Making Small Language Models Better Multi-step Reasoners

October 11, 2024

Autoren: Hojae Lee, Junho Kim, SangKeun Lee

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben durch die Nutzung von Chain-of-Thought (CoT) Prompting bemerkenswerte Leistungen bei verschiedenen komplexen Aufgaben gezeigt. In jüngster Zeit haben Studien einen Wissensvermittlungsansatz (KD) vorgeschlagen, die Reasoning-Destillation, um die Fähigkeit zum Denken solcher LLMs durch Feinabstimmung von Sprachmodellen mit mehrstufigen Begründungen zu übertragen, die von LLM-Lehrern generiert wurden. Allerdings haben sie zwei Herausforderungen unzureichend berücksichtigt, nämlich die unzureichenden Destillationssets des LLM-Lehrmodells in Bezug auf 1) Datenqualität und 2) Bereitstellung von Soft Labels. In diesem Artikel schlagen wir Mentor-KD vor, der die Fähigkeit zum mehrstufigen Denken von LLMs effektiv auf kleinere LMs destilliert und dabei die oben genannten Herausforderungen angeht. Konkret nutzen wir einen Mentor, ein mittelgroßes, aufgabenspezifisch feinabgestimmtes Modell, um zusätzliche CoT-Anmerkungen zu nutzen und dem Schülermodell während der Reasoning-Destillation Soft Labels bereitzustellen. Wir führen umfangreiche Experimente durch und bestätigen die Wirksamkeit von Mentor-KD bei verschiedenen Modellen und komplexen Denkaufgaben.

English

Large Language Models (LLMs) have displayed remarkable performances across various complex tasks by leveraging Chain-of-Thought (CoT) prompting. Recently, studies have proposed a Knowledge Distillation (KD) approach, reasoning distillation, which transfers such reasoning ability of LLMs through fine-tuning language models of multi-step rationales generated by LLM teachers. However, they have inadequately considered two challenges regarding insufficient distillation sets from the LLM teacher model, in terms of 1) data quality and 2) soft label provision. In this paper, we propose Mentor-KD, which effectively distills the multi-step reasoning capability of LLMs to smaller LMs while addressing the aforementioned challenges. Specifically, we exploit a mentor, intermediate-sized task-specific fine-tuned model, to augment additional CoT annotations and provide soft labels for the student model during reasoning distillation. We conduct extensive experiments and confirm Mentor-KD's effectiveness across various models and complex reasoning tasks.