Raffinamento Selettivo da Sé a Supervisionato per la Generalizzazione in Grandi Modelli Linguistici

Selective Self-to-Supervised Fine-Tuning for Generalization in Large Language Models

February 12, 2025

Autori: Sonam Gupta, Yatin Nandwani, Asaf Yehudai, Dinesh Khandelwal, Dinesh Raghu, Sachindra Joshi

cs.AI

Abstract

Il raffinamento dei Grandi Modelli Linguistici (LLM) su insiemi di dati specifici è una pratica comune per migliorare le prestazioni su compiti target. Tuttavia, questo incremento delle prestazioni spesso porta all'overfitting, dove il modello diventa troppo specializzato nel compito o nelle caratteristiche dei dati di addestramento, con conseguente perdita di generalizzazione. Questo articolo introduce il Fine-Tuning Selettivo da Auto-a-Supervisionato (S3FT), un approccio di fine-tuning che ottiene prestazioni migliori rispetto al tradizionale fine-tuning supervisionato (SFT) migliorando la generalizzazione. S3FT sfrutta l'esistenza di risposte multiple valide a una query. Utilizzando le risposte corrette del modello, S3FT riduce la specializzazione del modello durante la fase di fine-tuning. S3FT identifica innanzitutto le risposte corrette del modello dall'insieme di addestramento mediante l'impiego di un giudice appropriato. Successivamente, raffina il modello utilizzando le risposte corrette del modello e la risposta corretta (o la sua parafrasi) per i campioni rimanenti. L'efficacia di S3FT è dimostrata attraverso esperimenti su compiti di ragionamento matematico, programmazione Python e comprensione della lettura. I risultati mostrano che il SFT standard può portare a una diminuzione delle prestazioni media fino al 4,4 su diversi benchmark, come MMLU e TruthfulQA. Al contrario, S3FT riduce questa diminuzione della metà, cioè 2,5, indicando migliori capacità di generalizzazione rispetto al SFT pur ottenendo risultati significativamente migliori sui compiti di fine-tuning.

English

Fine-tuning Large Language Models (LLMs) on specific datasets is a common practice to improve performance on target tasks. However, this performance gain often leads to overfitting, where the model becomes too specialized in either the task or the characteristics of the training data, resulting in a loss of generalization. This paper introduces Selective Self-to-Supervised Fine-Tuning (S3FT), a fine-tuning approach that achieves better performance than the standard supervised fine-tuning (SFT) while improving generalization. S3FT leverages the existence of multiple valid responses to a query. By utilizing the model's correct responses, S3FT reduces model specialization during the fine-tuning stage. S3FT first identifies the correct model responses from the training set by deploying an appropriate judge. Then, it fine-tunes the model using the correct model responses and the gold response (or its paraphrase) for the remaining samples. The effectiveness of S3FT is demonstrated through experiments on mathematical reasoning, Python programming and reading comprehension tasks. The results show that standard SFT can lead to an average performance drop of up to 4.4 on multiple benchmarks, such as MMLU and TruthfulQA. In contrast, S3FT reduces this drop by half, i.e. 2.5, indicating better generalization capabilities than SFT while performing significantly better on the fine-tuning tasks.