Выборочная саморегулировка для обучения с учителем для обобщения в больших языковых моделях

Selective Self-to-Supervised Fine-Tuning for Generalization in Large Language Models

February 12, 2025

Авторы: Sonam Gupta, Yatin Nandwani, Asaf Yehudai, Dinesh Khandelwal, Dinesh Raghu, Sachindra Joshi

cs.AI

Аннотация

Калибровка больших языковых моделей (LLM) на конкретных наборах данных - распространенная практика для улучшения производительности на целевых задачах. Однако это улучшение производительности часто приводит к переобучению, когда модель становится слишком специализированной либо на задаче, либо на характеристиках обучающих данных, что приводит к потере обобщения. В данной статье представлен метод выборочной самокалибровки с учителем (S3FT), подход к калибровке, который достигает лучшей производительности по сравнению со стандартной калибровкой с учителем (SFT), улучшая при этом обобщение. S3FT использует наличие нескольких верных ответов на запрос. Путем использования верных ответов модели S3FT уменьшает специализацию модели на этапе калибровки. S3FT сначала определяет правильные ответы модели из обучающего набора, применяя соответствующего судью. Затем модель калибруется с использованием правильных ответов модели и правильного ответа (или его перефразировки) для оставшихся образцов. Эффективность S3FT демонстрируется через эксперименты по математическому рассуждению, программированию на Python и задачам по пониманию текста. Результаты показывают, что стандартная SFT может привести к среднему снижению производительности до 4,4 по нескольким показателям, таким как MMLU и TruthfulQA. В отличие от этого, S3FT уменьшает это снижение вдвое, то есть до 2,5, что указывает на лучшие возможности обобщения по сравнению с SFT, при этом значительно лучше справляется с задачами калибровки.

English

Fine-tuning Large Language Models (LLMs) on specific datasets is a common practice to improve performance on target tasks. However, this performance gain often leads to overfitting, where the model becomes too specialized in either the task or the characteristics of the training data, resulting in a loss of generalization. This paper introduces Selective Self-to-Supervised Fine-Tuning (S3FT), a fine-tuning approach that achieves better performance than the standard supervised fine-tuning (SFT) while improving generalization. S3FT leverages the existence of multiple valid responses to a query. By utilizing the model's correct responses, S3FT reduces model specialization during the fine-tuning stage. S3FT first identifies the correct model responses from the training set by deploying an appropriate judge. Then, it fine-tunes the model using the correct model responses and the gold response (or its paraphrase) for the remaining samples. The effectiveness of S3FT is demonstrated through experiments on mathematical reasoning, Python programming and reading comprehension tasks. The results show that standard SFT can lead to an average performance drop of up to 4.4 on multiple benchmarks, such as MMLU and TruthfulQA. In contrast, S3FT reduces this drop by half, i.e. 2.5, indicating better generalization capabilities than SFT while performing significantly better on the fine-tuning tasks.