El Ajuste Fino mediante Auto-Juego Convierte Modelos de Lenguaje Débiles en Modelos de Lenguaje Fuertes

Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models

January 2, 2024

Autores: Zixiang Chen, Yihe Deng, Huizhuo Yuan, Kaixuan Ji, Quanquan Gu

cs.AI

Resumen

Aprovechar el poder de los datos anotados por humanos mediante el Ajuste Fino Supervisado (SFT) es fundamental para avanzar en los Modelos de Lenguaje de Gran Escala (LLMs). En este artículo, exploramos la posibilidad de desarrollar un LLM robusto a partir de uno débil sin la necesidad de adquirir datos adicionales anotados por humanos. Proponemos un nuevo método de ajuste fino llamado Ajuste Fino de Autojuego (SPIN), que parte de un modelo ajustado fino de manera supervisada. En el núcleo de SPIN se encuentra un mecanismo de autojuego, donde el LLM refina su capacidad al enfrentarse a instancias de sí mismo. Más específicamente, el LLM genera sus propios datos de entrenamiento a partir de sus iteraciones anteriores, perfeccionando su política al discernir estas respuestas autogeneradas de las obtenidas de datos anotados por humanos. Nuestro método eleva progresivamente el LLM desde un modelo incipiente hasta uno formidable, desbloqueando todo el potencial de los datos de demostración anotados por humanos para el SFT. Teóricamente, demostramos que el óptimo global de la función objetivo de entrenamiento de nuestro método se alcanza solo cuando la política del LLM se alinea con la distribución de datos objetivo. Empíricamente, evaluamos nuestro método en varios conjuntos de datos de referencia, incluido el Tablero de Líderes de LLM Abiertos de HuggingFace, MT-Bench y conjuntos de datos de Big-Bench. Nuestros resultados muestran que SPIN puede mejorar significativamente el rendimiento del LLM en una variedad de benchmarks e incluso superar a los modelos entrenados mediante optimización directa de preferencias (DPO) complementada con datos adicionales de preferencias de GPT-4. Esto arroja luz sobre la promesa del autojuego, permitiendo alcanzar un rendimiento a nivel humano en LLMs sin la necesidad de oponentes expertos.

English

Harnessing the power of human-annotated data through Supervised Fine-Tuning (SFT) is pivotal for advancing Large Language Models (LLMs). In this paper, we delve into the prospect of growing a strong LLM out of a weak one without the need for acquiring additional human-annotated data. We propose a new fine-tuning method called Self-Play fIne-tuNing (SPIN), which starts from a supervised fine-tuned model. At the heart of SPIN lies a self-play mechanism, where the LLM refines its capability by playing against instances of itself. More specifically, the LLM generates its own training data from its previous iterations, refining its policy by discerning these self-generated responses from those obtained from human-annotated data. Our method progressively elevates the LLM from a nascent model to a formidable one, unlocking the full potential of human-annotated demonstration data for SFT. Theoretically, we prove that the global optimum to the training objective function of our method is achieved only when the LLM policy aligns with the target data distribution. Empirically, we evaluate our method on several benchmark datasets including the HuggingFace Open LLM Leaderboard, MT-Bench, and datasets from Big-Bench. Our results show that SPIN can significantly improve the LLM's performance across a variety of benchmarks and even outperform models trained through direct preference optimization (DPO) supplemented with extra GPT-4 preference data. This sheds light on the promise of self-play, enabling the achievement of human-level performance in LLMs without the need for expert opponents.