Selektives Selbst-zu-überwachtes Feintuning zur Verallgemeinerung in großen Sprachmodellen

Selective Self-to-Supervised Fine-Tuning for Generalization in Large Language Models

February 12, 2025

Autoren: Sonam Gupta, Yatin Nandwani, Asaf Yehudai, Dinesh Khandelwal, Dinesh Raghu, Sachindra Joshi

cs.AI

Zusammenfassung

Das Feinabstimmen großer Sprachmodelle (Large Language Models, LLMs) auf spezifischen Datensätzen ist eine gängige Praxis, um die Leistung bei Zielaufgaben zu verbessern. Allerdings führt dieser Leistungsgewinn oft zu Overfitting, bei dem das Modell entweder zu stark auf die Aufgabe oder die Merkmale der Trainingsdaten spezialisiert wird, was zu einem Verlust an Verallgemeinerung führt. Dieser Artikel stellt das Konzept des Selektiven Selbst-zu-Überwachten Feinabstimmens (Selective Self-to-Supervised Fine-Tuning, S3FT) vor, ein Feinabstimmungsansatz, der eine bessere Leistung als das Standard-überwachte Feinabstimmen (Supervised Fine-Tuning, SFT) erzielt und gleichzeitig die Verallgemeinerung verbessert. S3FT nutzt das Vorhandensein mehrerer gültiger Antworten auf eine Abfrage. Durch die Verwendung der korrekten Antworten des Modells reduziert S3FT die Spezialisierung des Modells während der Feinabstimmungsphase. S3FT identifiziert zunächst die korrekten Modellantworten aus dem Trainingsdatensatz, indem es einen geeigneten Richter einsetzt. Anschließend erfolgt die Feinabstimmung des Modells unter Verwendung der korrekten Modellantworten und der Goldantwort (oder deren Paraphrase) für die verbleibenden Proben. Die Wirksamkeit von S3FT wird durch Experimente zu mathematischem Denken, Python-Programmierung und Aufgaben zur Leseverständnis belegt. Die Ergebnisse zeigen, dass das Standard-SFT zu einem durchschnittlichen Leistungsabfall von bis zu 4,4 auf mehreren Benchmarks wie MMLU und TruthfulQA führen kann. Im Gegensatz dazu reduziert S3FT diesen Rückgang um die Hälfte, d.h. um 2,5, was auf bessere Verallgemeinerungsfähigkeiten als SFT hinweist, während es bei der Feinabstimmungsaufgaben signifikant besser abschneidet.

English

Fine-tuning Large Language Models (LLMs) on specific datasets is a common practice to improve performance on target tasks. However, this performance gain often leads to overfitting, where the model becomes too specialized in either the task or the characteristics of the training data, resulting in a loss of generalization. This paper introduces Selective Self-to-Supervised Fine-Tuning (S3FT), a fine-tuning approach that achieves better performance than the standard supervised fine-tuning (SFT) while improving generalization. S3FT leverages the existence of multiple valid responses to a query. By utilizing the model's correct responses, S3FT reduces model specialization during the fine-tuning stage. S3FT first identifies the correct model responses from the training set by deploying an appropriate judge. Then, it fine-tunes the model using the correct model responses and the gold response (or its paraphrase) for the remaining samples. The effectiveness of S3FT is demonstrated through experiments on mathematical reasoning, Python programming and reading comprehension tasks. The results show that standard SFT can lead to an average performance drop of up to 4.4 on multiple benchmarks, such as MMLU and TruthfulQA. In contrast, S3FT reduces this drop by half, i.e. 2.5, indicating better generalization capabilities than SFT while performing significantly better on the fine-tuning tasks.