Mentor-KD: Migliorare i Modelli Linguistici Ridotti come Ragionatori Multistep

Mentor-KD: Making Small Language Models Better Multi-step Reasoners

October 11, 2024

Autori: Hojae Lee, Junho Kim, SangKeun Lee

cs.AI

Abstract

I Large Language Models (LLM) hanno mostrato prestazioni notevoli in varie attività complesse sfruttando la tecnica di Chain-of-Thought (CoT) prompting. Recentemente, studi hanno proposto un approccio di Knowledge Distillation (KD), denominato distillazione del ragionamento, che trasferisce tale capacità di ragionamento dei LLM attraverso il raffinamento dei modelli linguistici di multi-step rationale generati dai LLM insegnanti. Tuttavia, non hanno considerato in modo adeguato due sfide relative alla scarsità di set di distillazione del modello insegnante LLM, in termini di 1) qualità dei dati e 2) fornitura di etichette soft. In questo articolo, proponiamo Mentor-KD, che distilla efficacemente la capacità di ragionamento a multi-step dei LLM in modelli più piccoli affrontando le sfide sopra menzionate. In particolare, sfruttiamo un mentore, un modello di dimensioni intermedie raffinato specificamente per il compito, per arricchire ulteriori annotazioni CoT e fornire etichette soft per il modello studente durante la distillazione del ragionamento. Conduci...

English

Large Language Models (LLMs) have displayed remarkable performances across various complex tasks by leveraging Chain-of-Thought (CoT) prompting. Recently, studies have proposed a Knowledge Distillation (KD) approach, reasoning distillation, which transfers such reasoning ability of LLMs through fine-tuning language models of multi-step rationales generated by LLM teachers. However, they have inadequately considered two challenges regarding insufficient distillation sets from the LLM teacher model, in terms of 1) data quality and 2) soft label provision. In this paper, we propose Mentor-KD, which effectively distills the multi-step reasoning capability of LLMs to smaller LMs while addressing the aforementioned challenges. Specifically, we exploit a mentor, intermediate-sized task-specific fine-tuned model, to augment additional CoT annotations and provide soft labels for the student model during reasoning distillation. We conduct extensive experiments and confirm Mentor-KD's effectiveness across various models and complex reasoning tasks.