L'Affinamento tramite Auto-Gioco Trasforma Modelli Linguistici Deboli in Modelli Linguistici Forti

Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models

January 2, 2024

Autori: Zixiang Chen, Yihe Deng, Huizhuo Yuan, Kaixuan Ji, Quanquan Gu

cs.AI

Abstract

Sfruttare il potere dei dati annotati dall'uomo attraverso il Fine-Tuning Supervisionato (SFT) è fondamentale per far progredire i Modelli Linguistici di Grande Scala (LLM). In questo articolo, esploriamo la possibilità di far crescere un LLM robusto a partire da uno debole senza la necessità di acquisire ulteriori dati annotati dall'uomo. Proponiamo un nuovo metodo di fine-tuning chiamato Self-Play fIne-tuNing (SPIN), che parte da un modello sottoposto a fine-tuning supervisionato. Al centro di SPIN si trova un meccanismo di self-play, in cui l'LLM affina le sue capacità confrontandosi con istanze di se stesso. Più specificamente, l'LLM genera i propri dati di training dalle sue iterazioni precedenti, perfezionando la sua politica distinguendo queste risposte auto-generate da quelle ottenute dai dati annotati dall'uomo. Il nostro metodo eleva progressivamente l'LLM da un modello nascente a uno formidabile, sbloccando il pieno potenziale dei dati dimostrativi annotati dall'uomo per il SFT. Teoricamente, dimostriamo che l'ottimo globale della funzione obiettivo del nostro metodo viene raggiunto solo quando la politica dell'LLM si allinea con la distribuzione dei dati target. Empiricamente, valutiamo il nostro metodo su diversi dataset di riferimento, tra cui la HuggingFace Open LLM Leaderboard, MT-Bench e i dataset di Big-Bench. I nostri risultati mostrano che SPIN può migliorare significativamente le prestazioni dell'LLM su una varietà di benchmark e persino superare i modelli addestrati attraverso l'ottimizzazione diretta delle preferenze (DPO) integrata con dati aggiuntivi di preferenza GPT-4. Ciò evidenzia la promessa del self-play, consentendo il raggiungimento di prestazioni di livello umano negli LLM senza la necessità di avversari esperti.

English

Harnessing the power of human-annotated data through Supervised Fine-Tuning (SFT) is pivotal for advancing Large Language Models (LLMs). In this paper, we delve into the prospect of growing a strong LLM out of a weak one without the need for acquiring additional human-annotated data. We propose a new fine-tuning method called Self-Play fIne-tuNing (SPIN), which starts from a supervised fine-tuned model. At the heart of SPIN lies a self-play mechanism, where the LLM refines its capability by playing against instances of itself. More specifically, the LLM generates its own training data from its previous iterations, refining its policy by discerning these self-generated responses from those obtained from human-annotated data. Our method progressively elevates the LLM from a nascent model to a formidable one, unlocking the full potential of human-annotated demonstration data for SFT. Theoretically, we prove that the global optimum to the training objective function of our method is achieved only when the LLM policy aligns with the target data distribution. Empirically, we evaluate our method on several benchmark datasets including the HuggingFace Open LLM Leaderboard, MT-Bench, and datasets from Big-Bench. Our results show that SPIN can significantly improve the LLM's performance across a variety of benchmarks and even outperform models trained through direct preference optimization (DPO) supplemented with extra GPT-4 preference data. This sheds light on the promise of self-play, enabling the achievement of human-level performance in LLMs without the need for expert opponents.