Ajuste Fino Selectivo de Auto a Supervisado para Generalización en Modelos de Lenguaje Grandes

Selective Self-to-Supervised Fine-Tuning for Generalization in Large Language Models

February 12, 2025

Autores: Sonam Gupta, Yatin Nandwani, Asaf Yehudai, Dinesh Khandelwal, Dinesh Raghu, Sachindra Joshi

cs.AI

Resumen

El ajuste fino de Modelos de Lenguaje Grandes (LLMs) en conjuntos de datos específicos es una práctica común para mejorar el rendimiento en tareas objetivo. Sin embargo, esta mejora de rendimiento a menudo conduce al sobreajuste, donde el modelo se especializa demasiado en la tarea o en las características de los datos de entrenamiento, lo que resulta en una pérdida de generalización. Este documento presenta el Enfoque de Ajuste Fino Selectivo de Auto a Supervisado (S3FT), un enfoque de ajuste fino que logra un mejor rendimiento que el ajuste fino supervisado estándar (SFT) al tiempo que mejora la generalización. S3FT aprovecha la existencia de múltiples respuestas válidas a una consulta. Al utilizar las respuestas correctas del modelo, S3FT reduce la especialización del modelo durante la etapa de ajuste fino. S3FT primero identifica las respuestas correctas del modelo en el conjunto de entrenamiento desplegando un juez apropiado. Luego, ajusta finamente el modelo utilizando las respuestas correctas del modelo y la respuesta correcta (o su paráfrasis) para las muestras restantes. La efectividad de S3FT se demuestra a través de experimentos en tareas de razonamiento matemático, programación en Python y comprensión de lectura. Los resultados muestran que el SFT estándar puede llevar a una caída de rendimiento promedio de hasta 4.4 en múltiples pruebas, como MMLU y TruthfulQA. En contraste, S3FT reduce esta caída a la mitad, es decir, 2.5, lo que indica mejores capacidades de generalización que SFT mientras se desempeña significativamente mejor en las tareas de ajuste fino.

English

Fine-tuning Large Language Models (LLMs) on specific datasets is a common practice to improve performance on target tasks. However, this performance gain often leads to overfitting, where the model becomes too specialized in either the task or the characteristics of the training data, resulting in a loss of generalization. This paper introduces Selective Self-to-Supervised Fine-Tuning (S3FT), a fine-tuning approach that achieves better performance than the standard supervised fine-tuning (SFT) while improving generalization. S3FT leverages the existence of multiple valid responses to a query. By utilizing the model's correct responses, S3FT reduces model specialization during the fine-tuning stage. S3FT first identifies the correct model responses from the training set by deploying an appropriate judge. Then, it fine-tunes the model using the correct model responses and the gold response (or its paraphrase) for the remaining samples. The effectiveness of S3FT is demonstrated through experiments on mathematical reasoning, Python programming and reading comprehension tasks. The results show that standard SFT can lead to an average performance drop of up to 4.4 on multiple benchmarks, such as MMLU and TruthfulQA. In contrast, S3FT reduces this drop by half, i.e. 2.5, indicating better generalization capabilities than SFT while performing significantly better on the fine-tuning tasks.