Zelfspel-finetuning zet zwakke taalmodelen om in sterke taalmodelen.

Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models

January 2, 2024

Auteurs: Zixiang Chen, Yihe Deng, Huizhuo Yuan, Kaixuan Ji, Quanquan Gu

cs.AI

Samenvatting

Het benutten van de kracht van door mensen geannoteerde gegevens via Supervised Fine-Tuning (SFT) is cruciaal voor de vooruitgang van Large Language Models (LLM's). In dit artikel onderzoeken we de mogelijkheid om een sterke LLM te ontwikkelen vanuit een zwakke, zonder de noodzaak van het verkrijgen van aanvullende door mensen geannoteerde gegevens. We stellen een nieuwe fine-tuning methode voor genaamd Self-Play fIne-tuNing (SPIN), die start vanuit een supervised fine-tuned model. De kern van SPIN ligt in een zelfspelmechanisme, waarbij de LLM zijn capaciteiten verfijnt door tegen instanties van zichzelf te spelen. Meer specifiek genereert de LLM zijn eigen trainingsgegevens vanuit zijn vorige iteraties, en verfijnt zijn beleid door deze zelf gegenereerde reacties te onderscheiden van die verkregen uit door mensen geannoteerde gegevens. Onze methode verheft de LLM progressief van een beginnend model naar een formidabel model, waarbij het volledige potentieel van door mensen geannoteerde demonstratiegegevens voor SFT wordt ontsloten. Theoretisch bewijzen we dat het globale optimum van de trainingsdoelfunctie van onze methode alleen wordt bereikt wanneer het LLM-beleid overeenkomt met de doelgegevensverdeling. Empirisch evalueren we onze methode op verschillende benchmarkdatasets, waaronder de HuggingFace Open LLM Leaderboard, MT-Bench en datasets van Big-Bench. Onze resultaten tonen aan dat SPIN de prestaties van de LLM aanzienlijk kan verbeteren over een verscheidenheid aan benchmarks en zelfs modellen kan overtreffen die zijn getraind via directe voorkeursoptimalisatie (DPO) aangevuld met extra GPT-4 voorkeursgegevens. Dit werpt licht op de belofte van zelfspel, waardoor het bereiken van menselijk prestatieniveau in LLM's mogelijk wordt zonder de noodzaak van experttegenstanders.

English

Harnessing the power of human-annotated data through Supervised Fine-Tuning (SFT) is pivotal for advancing Large Language Models (LLMs). In this paper, we delve into the prospect of growing a strong LLM out of a weak one without the need for acquiring additional human-annotated data. We propose a new fine-tuning method called Self-Play fIne-tuNing (SPIN), which starts from a supervised fine-tuned model. At the heart of SPIN lies a self-play mechanism, where the LLM refines its capability by playing against instances of itself. More specifically, the LLM generates its own training data from its previous iterations, refining its policy by discerning these self-generated responses from those obtained from human-annotated data. Our method progressively elevates the LLM from a nascent model to a formidable one, unlocking the full potential of human-annotated demonstration data for SFT. Theoretically, we prove that the global optimum to the training objective function of our method is achieved only when the LLM policy aligns with the target data distribution. Empirically, we evaluate our method on several benchmark datasets including the HuggingFace Open LLM Leaderboard, MT-Bench, and datasets from Big-Bench. Our results show that SPIN can significantly improve the LLM's performance across a variety of benchmarks and even outperform models trained through direct preference optimization (DPO) supplemented with extra GPT-4 preference data. This sheds light on the promise of self-play, enabling the achievement of human-level performance in LLMs without the need for expert opponents.