Selectieve zelf-naar-begeleide fijnafstemming voor generalisatie in grote taalmodellen

Selective Self-to-Supervised Fine-Tuning for Generalization in Large Language Models

February 12, 2025

Auteurs: Sonam Gupta, Yatin Nandwani, Asaf Yehudai, Dinesh Khandelwal, Dinesh Raghu, Sachindra Joshi

cs.AI

Samenvatting

Het verfijnen van Grote Taalmodellen (LLM's) op specifieke datasets is een veelvoorkomende praktijk om de prestaties op doeltaken te verbeteren. Deze prestatiewinst leidt echter vaak tot overfitting, waarbij het model te gespecialiseerd raakt in de taak of de kenmerken van de trainingsdata, wat resulteert in een verlies aan generalisatie. Dit artikel introduceert Selectieve Zelf-naar-Supervised Fine-Tuning (S3FT), een verfijningsbenadering die betere prestaties behaalt dan de standaard supervised fine-tuning (SFT) en tegelijkertijd de generalisatie verbetert. S3FT maakt gebruik van het bestaan van meerdere geldige antwoorden op een query. Door gebruik te maken van de correcte antwoorden van het model, vermindert S3FT de specialisatie van het model tijdens de verfijningsfase. S3FT identificeert eerst de juiste modelantwoorden uit de trainingsset door een geschikte beoordelaar in te zetten. Vervolgens verfijnt het model door gebruik te maken van de juiste modelantwoorden en het gouden antwoord (of de parafrase ervan) voor de overige voorbeelden. De effectiviteit van S3FT wordt aangetoond door experimenten op taken voor wiskundig redeneren, Python-programmeren en leesbegrip. De resultaten tonen aan dat standaard SFT kan leiden tot een gemiddelde prestatiedaling van maximaal 4.4 op meerdere benchmarks, zoals MMLU en TruthfulQA. Daarentegen vermindert S3FT deze daling met de helft, namelijk 2.5, wat wijst op betere generalisatiemogelijkheden dan SFT, terwijl het aanzienlijk beter presteert op de verfijningstaken.

English

Fine-tuning Large Language Models (LLMs) on specific datasets is a common practice to improve performance on target tasks. However, this performance gain often leads to overfitting, where the model becomes too specialized in either the task or the characteristics of the training data, resulting in a loss of generalization. This paper introduces Selective Self-to-Supervised Fine-Tuning (S3FT), a fine-tuning approach that achieves better performance than the standard supervised fine-tuning (SFT) while improving generalization. S3FT leverages the existence of multiple valid responses to a query. By utilizing the model's correct responses, S3FT reduces model specialization during the fine-tuning stage. S3FT first identifies the correct model responses from the training set by deploying an appropriate judge. Then, it fine-tunes the model using the correct model responses and the gold response (or its paraphrase) for the remaining samples. The effectiveness of S3FT is demonstrated through experiments on mathematical reasoning, Python programming and reading comprehension tasks. The results show that standard SFT can lead to an average performance drop of up to 4.4 on multiple benchmarks, such as MMLU and TruthfulQA. In contrast, S3FT reduces this drop by half, i.e. 2.5, indicating better generalization capabilities than SFT while performing significantly better on the fine-tuning tasks.