Self-Play-Fine-Tuning wandelt schwache Sprachmodelle in starke Sprachmodelle um.

Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models

January 2, 2024

papers.authors: Zixiang Chen, Yihe Deng, Huizhuo Yuan, Kaixuan Ji, Quanquan Gu

cs.AI

papers.abstract

Die Nutzung der Kraft von menschlich annotierten Daten durch Supervised Fine-Tuning (SFT) ist entscheidend für die Weiterentwicklung von Large Language Models (LLMs). In diesem Artikel untersuchen wir die Möglichkeit, ein leistungsstarkes LLM aus einem schwachen Modell zu entwickeln, ohne zusätzliche menschlich annotierte Daten zu benötigen. Wir schlagen eine neue Feinabstimmungsmethode namens Self-Play fIne-tuNing (SPIN) vor, die von einem überwacht feinabgestimmten Modell ausgeht. Im Kern von SPIN liegt ein Selbstspiel-Mechanismus, bei dem das LLM seine Fähigkeiten verbessert, indem es gegen Instanzen von sich selbst antritt. Genauer gesagt generiert das LLM seine eigenen Trainingsdaten aus seinen vorherigen Iterationen und verfeinert seine Strategie, indem es diese selbstgenerierten Antworten von denen unterscheidet, die aus menschlich annotierten Daten stammen. Unsere Methode hebt das LLM schrittweise von einem Anfängermodell zu einem leistungsstarken Modell an und erschließt das volle Potenzial der menschlich annotierten Demonstrationsdaten für SFT. Theoretisch beweisen wir, dass das globale Optimum der Zielfunktion unseres Trainings nur erreicht wird, wenn die LLM-Strategie mit der Ziel-Datenverteilung übereinstimmt. Empirisch bewerten wir unsere Methode anhand mehrerer Benchmark-Datensätze, darunter die HuggingFace Open LLM Leaderboard, MT-Bench und Datensätze aus Big-Bench. Unsere Ergebnisse zeigen, dass SPIN die Leistung des LLMs über eine Vielzahl von Benchmarks signifikant verbessern kann und sogar Modelle übertrifft, die durch Direct Preference Optimization (DPO) trainiert wurden, ergänzt durch zusätzliche GPT-4-Präferenzdaten. Dies verdeutlicht das Potenzial von Selbstspiel, das Erreichen von menschlicher Leistungsfähigkeit in LLMs ohne die Notwendigkeit von Expertengegnern zu ermöglichen.

English

Harnessing the power of human-annotated data through Supervised Fine-Tuning (SFT) is pivotal for advancing Large Language Models (LLMs). In this paper, we delve into the prospect of growing a strong LLM out of a weak one without the need for acquiring additional human-annotated data. We propose a new fine-tuning method called Self-Play fIne-tuNing (SPIN), which starts from a supervised fine-tuned model. At the heart of SPIN lies a self-play mechanism, where the LLM refines its capability by playing against instances of itself. More specifically, the LLM generates its own training data from its previous iterations, refining its policy by discerning these self-generated responses from those obtained from human-annotated data. Our method progressively elevates the LLM from a nascent model to a formidable one, unlocking the full potential of human-annotated demonstration data for SFT. Theoretically, we prove that the global optimum to the training objective function of our method is achieved only when the LLM policy aligns with the target data distribution. Empirically, we evaluate our method on several benchmark datasets including the HuggingFace Open LLM Leaderboard, MT-Bench, and datasets from Big-Bench. Our results show that SPIN can significantly improve the LLM's performance across a variety of benchmarks and even outperform models trained through direct preference optimization (DPO) supplemented with extra GPT-4 preference data. This sheds light on the promise of self-play, enabling the achievement of human-level performance in LLMs without the need for expert opponents.