O Ajuste Fino por Auto-Jogo Transforma Modelos de Linguagem Fracos em Modelos de Linguagem Fortes

Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models

January 2, 2024

Autores: Zixiang Chen, Yihe Deng, Huizhuo Yuan, Kaixuan Ji, Quanquan Gu

cs.AI

Resumo

Aproveitar o poder dos dados anotados por humanos por meio de Ajuste Fino Supervisionado (SFT) é crucial para o avanço dos Modelos de Linguagem de Grande Escala (LLMs). Neste artigo, exploramos a perspectiva de desenvolver um LLM robusto a partir de um modelo fraco sem a necessidade de adquirir dados adicionais anotados por humanos. Propomos um novo método de ajuste fino chamado Self-Play fIne-tuNing (SPIN), que começa a partir de um modelo ajustado fino de forma supervisionada. No cerne do SPIN está um mecanismo de autojogo, onde o LLM aprimora sua capacidade ao competir contra instâncias de si mesmo. Mais especificamente, o LLM gera seus próprios dados de treinamento a partir de iterações anteriores, refinando sua política ao distinguir essas respostas autogeradas daquelas obtidas de dados anotados por humanos. Nosso método eleva progressivamente o LLM de um modelo inicial para um modelo formidável, desbloqueando todo o potencial dos dados de demonstração anotados por humanos para o SFT. Teoricamente, provamos que o ótimo global da função objetivo de treinamento do nosso método é alcançado apenas quando a política do LLM está alinhada com a distribuição de dados alvo. Empiricamente, avaliamos nosso método em vários conjuntos de dados de referência, incluindo o HuggingFace Open LLM Leaderboard, MT-Bench e conjuntos de dados do Big-Bench. Nossos resultados mostram que o SPIN pode melhorar significativamente o desempenho do LLM em uma variedade de benchmarks e até superar modelos treinados por meio de otimização de preferência direta (DPO) complementada com dados de preferência adicionais do GPT-4. Isso revela o potencial do autojogo, permitindo o alcance de desempenho em nível humano em LLMs sem a necessidade de oponentes especializados.

English

Harnessing the power of human-annotated data through Supervised Fine-Tuning (SFT) is pivotal for advancing Large Language Models (LLMs). In this paper, we delve into the prospect of growing a strong LLM out of a weak one without the need for acquiring additional human-annotated data. We propose a new fine-tuning method called Self-Play fIne-tuNing (SPIN), which starts from a supervised fine-tuned model. At the heart of SPIN lies a self-play mechanism, where the LLM refines its capability by playing against instances of itself. More specifically, the LLM generates its own training data from its previous iterations, refining its policy by discerning these self-generated responses from those obtained from human-annotated data. Our method progressively elevates the LLM from a nascent model to a formidable one, unlocking the full potential of human-annotated demonstration data for SFT. Theoretically, we prove that the global optimum to the training objective function of our method is achieved only when the LLM policy aligns with the target data distribution. Empirically, we evaluate our method on several benchmark datasets including the HuggingFace Open LLM Leaderboard, MT-Bench, and datasets from Big-Bench. Our results show that SPIN can significantly improve the LLM's performance across a variety of benchmarks and even outperform models trained through direct preference optimization (DPO) supplemented with extra GPT-4 preference data. This sheds light on the promise of self-play, enabling the achievement of human-level performance in LLMs without the need for expert opponents.