Наставник-KD: Улучшение маленьких языковых моделей как многоэтапных рассуждателей

Mentor-KD: Making Small Language Models Better Multi-step Reasoners

October 11, 2024

Авторы: Hojae Lee, Junho Kim, SangKeun Lee

cs.AI

Аннотация

Большие языковые модели (LLM) продемонстрировали выдающиеся результаты в различных сложных задачах, используя метод Chain-of-Thought (CoT) для подсказок. Недавние исследования предложили подход к Дистилляции Знаний (KD), называемый дистилляцией рассуждений, который передает такую способность к рассуждениям от LLM через донастройку языковых моделей на основе многошаговых обоснований, созданных учителями LLM. Однако они недостаточно учли две проблемы, касающиеся недостаточных наборов дистилляции от модели-учителя LLM, в терминах 1) качества данных и 2) предоставления мягких меток. В данной статье мы предлагаем Mentor-KD, который эффективно дистиллирует способность к многошаговым рассуждениям у LLM в более маленькие LMs, решая упомянутые проблемы. Конкретно, мы используем наставника, промежуточную модель, настроенную на задачу определенного размера, для дополнительного обогащения аннотаций CoT и предоставления мягких меток для модели-ученика во время дистилляции рассуждений. Мы проводим обширные эксперименты и подтверждаем эффективность Mentor-KD в различных моделях и сложных задачах рассуждения.

English

Large Language Models (LLMs) have displayed remarkable performances across various complex tasks by leveraging Chain-of-Thought (CoT) prompting. Recently, studies have proposed a Knowledge Distillation (KD) approach, reasoning distillation, which transfers such reasoning ability of LLMs through fine-tuning language models of multi-step rationales generated by LLM teachers. However, they have inadequately considered two challenges regarding insufficient distillation sets from the LLM teacher model, in terms of 1) data quality and 2) soft label provision. In this paper, we propose Mentor-KD, which effectively distills the multi-step reasoning capability of LLMs to smaller LMs while addressing the aforementioned challenges. Specifically, we exploit a mentor, intermediate-sized task-specific fine-tuned model, to augment additional CoT annotations and provide soft labels for the student model during reasoning distillation. We conduct extensive experiments and confirm Mentor-KD's effectiveness across various models and complex reasoning tasks.