Auto-ajustement sélectif de soi à la supervision pour la généralisation dans les grands modèles de langage

Selective Self-to-Supervised Fine-Tuning for Generalization in Large Language Models

February 12, 2025

Auteurs: Sonam Gupta, Yatin Nandwani, Asaf Yehudai, Dinesh Khandelwal, Dinesh Raghu, Sachindra Joshi

cs.AI

Résumé

L'ajustement fin des grands modèles de langage (LLM) sur des ensembles de données spécifiques est une pratique courante pour améliorer les performances sur des tâches cibles. Cependant, ce gain de performance conduit souvent à un surajustement, où le modèle devient trop spécialisé soit dans la tâche, soit dans les caractéristiques des données d'entraînement, entraînant une perte de généralisation. Cet article présente l'approche d'Ajustement Fin Sélectif Auto-vers-Supervisé (S3FT), qui obtient de meilleures performances que l'ajustement fin supervisé standard (SFT) tout en améliorant la généralisation. S3FT tire parti de l'existence de multiples réponses valides à une requête. En utilisant les réponses correctes du modèle, S3FT réduit la spécialisation du modèle lors de l'étape d'ajustement fin. S3FT identifie d'abord les réponses correctes du modèle à partir de l'ensemble d'entraînement en déployant un juge approprié. Ensuite, il ajuste finalement le modèle en utilisant les réponses correctes du modèle et la réponse de référence (ou sa paraphrase) pour les échantillons restants. L'efficacité de S3FT est démontrée à travers des expériences sur des tâches de raisonnement mathématique, de programmation Python et de compréhension de lecture. Les résultats montrent que le SFT standard peut entraîner une baisse de performance moyenne allant jusqu'à 4,4 sur plusieurs références, telles que MMLU et TruthfulQA. En revanche, S3FT réduit cette baisse de moitié, c'est-à-dire 2,5, indiquant de meilleures capacités de généralisation que le SFT tout en obtenant des performances significativement meilleures sur les tâches d'ajustement fin.

English

Fine-tuning Large Language Models (LLMs) on specific datasets is a common practice to improve performance on target tasks. However, this performance gain often leads to overfitting, where the model becomes too specialized in either the task or the characteristics of the training data, resulting in a loss of generalization. This paper introduces Selective Self-to-Supervised Fine-Tuning (S3FT), a fine-tuning approach that achieves better performance than the standard supervised fine-tuning (SFT) while improving generalization. S3FT leverages the existence of multiple valid responses to a query. By utilizing the model's correct responses, S3FT reduces model specialization during the fine-tuning stage. S3FT first identifies the correct model responses from the training set by deploying an appropriate judge. Then, it fine-tunes the model using the correct model responses and the gold response (or its paraphrase) for the remaining samples. The effectiveness of S3FT is demonstrated through experiments on mathematical reasoning, Python programming and reading comprehension tasks. The results show that standard SFT can lead to an average performance drop of up to 4.4 on multiple benchmarks, such as MMLU and TruthfulQA. In contrast, S3FT reduces this drop by half, i.e. 2.5, indicating better generalization capabilities than SFT while performing significantly better on the fine-tuning tasks.