Mentor-KD: Het Verbeteren van Kleine Taalmodellen als Multi-step Redeneerders

Mentor-KD: Making Small Language Models Better Multi-step Reasoners

October 11, 2024

Auteurs: Hojae Lee, Junho Kim, SangKeun Lee

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben opmerkelijke prestaties vertoond bij verschillende complexe taken door gebruik te maken van Chain-of-Thought (CoT) prompting. Onlangs hebben studies een Kennisdestillatie (KD) benadering voorgesteld, redeneringsdestillatie genaamd, die dergelijke redeneervaardigheden van LLM's overdraagt door taalmodellen van meerdere-stappen rationales gegenereerd door LLM-docenten te verfijnen. Echter, ze hebben onvoldoende rekening gehouden met twee uitdagingen met betrekking tot onvoldoende destillatiesets van het LLM-docentmodel, wat betreft 1) gegevenskwaliteit en 2) het verschaffen van zachte labels. In dit artikel stellen we Mentor-KD voor, dat effectief de multi-stap redeneervermogen van LLM's destilleert naar kleinere LMs terwijl het eerder genoemde uitdagingen aanpakt. Specifiek maken we gebruik van een mentor, een middelgroot taakspecifiek verfijnd model, om extra CoT-annotaties te benutten en zachte labels te verschaffen voor het studentmodel tijdens redeneringsdestillatie. We voeren uitgebreide experimenten uit en bevestigen de effectiviteit van Mentor-KD bij verschillende modellen en complexe redeneertaken.

English

Large Language Models (LLMs) have displayed remarkable performances across various complex tasks by leveraging Chain-of-Thought (CoT) prompting. Recently, studies have proposed a Knowledge Distillation (KD) approach, reasoning distillation, which transfers such reasoning ability of LLMs through fine-tuning language models of multi-step rationales generated by LLM teachers. However, they have inadequately considered two challenges regarding insufficient distillation sets from the LLM teacher model, in terms of 1) data quality and 2) soft label provision. In this paper, we propose Mentor-KD, which effectively distills the multi-step reasoning capability of LLMs to smaller LMs while addressing the aforementioned challenges. Specifically, we exploit a mentor, intermediate-sized task-specific fine-tuned model, to augment additional CoT annotations and provide soft labels for the student model during reasoning distillation. We conduct extensive experiments and confirm Mentor-KD's effectiveness across various models and complex reasoning tasks.