Ajuste Fino Seletivo de Auto-para-Supervisionado para Generalização em Modelos de Linguagem Grandes

Selective Self-to-Supervised Fine-Tuning for Generalization in Large Language Models

February 12, 2025

Autores: Sonam Gupta, Yatin Nandwani, Asaf Yehudai, Dinesh Khandelwal, Dinesh Raghu, Sachindra Joshi

cs.AI

Resumo

A afinação de Modelos de Linguagem Grandes (LLMs) em conjuntos de dados específicos é uma prática comum para melhorar o desempenho em tarefas-alvo. No entanto, esse ganho de desempenho frequentemente resulta em sobreajuste, no qual o modelo se torna muito especializado na tarefa ou nas características dos dados de treinamento, resultando em uma perda de generalização. Este artigo apresenta a Abordagem Seletiva de Auto-para-Supervisionado na Afinação (S3FT), uma abordagem de afinação que alcança um desempenho melhor do que a afinação supervisionada padrão (SFT) ao mesmo tempo que melhora a generalização. O S3FT aproveita a existência de múltiplas respostas válidas para uma consulta. Ao utilizar as respostas corretas do modelo, o S3FT reduz a especialização do modelo durante a fase de afinação. O S3FT primeiro identifica as respostas corretas do modelo no conjunto de treinamento por meio de um juiz apropriado. Em seguida, ele afina o modelo utilizando as respostas corretas do modelo e a resposta correta (ou sua paráfrase) para as amostras restantes. A eficácia do S3FT é demonstrada por meio de experimentos em tarefas de raciocínio matemático, programação em Python e compreensão de leitura. Os resultados mostram que o SFT padrão pode levar a uma queda média de desempenho de até 4.4 em vários benchmarks, como MMLU e TruthfulQA. Em contraste, o S3FT reduz essa queda pela metade, ou seja, 2.5, indicando melhores capacidades de generalização do que o SFT, ao mesmo tempo que apresenta um desempenho significativamente melhor nas tarefas de afinação.

English

Fine-tuning Large Language Models (LLMs) on specific datasets is a common practice to improve performance on target tasks. However, this performance gain often leads to overfitting, where the model becomes too specialized in either the task or the characteristics of the training data, resulting in a loss of generalization. This paper introduces Selective Self-to-Supervised Fine-Tuning (S3FT), a fine-tuning approach that achieves better performance than the standard supervised fine-tuning (SFT) while improving generalization. S3FT leverages the existence of multiple valid responses to a query. By utilizing the model's correct responses, S3FT reduces model specialization during the fine-tuning stage. S3FT first identifies the correct model responses from the training set by deploying an appropriate judge. Then, it fine-tunes the model using the correct model responses and the gold response (or its paraphrase) for the remaining samples. The effectiveness of S3FT is demonstrated through experiments on mathematical reasoning, Python programming and reading comprehension tasks. The results show that standard SFT can lead to an average performance drop of up to 4.4 on multiple benchmarks, such as MMLU and TruthfulQA. In contrast, S3FT reduces this drop by half, i.e. 2.5, indicating better generalization capabilities than SFT while performing significantly better on the fine-tuning tasks.