SPaR: Autojuego con Refinamiento de Búsqueda en Árbol para Mejorar el Seguimiento de Instrucciones en Modelos de Lenguaje Grandes

SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models

December 16, 2024

Autores: Jiale Cheng, Xiao Liu, Cunxiang Wang, Xiaotao Gu, Yida Lu, Dan Zhang, Yuxiao Dong, Jie Tang, Hongning Wang, Minlie Huang

cs.AI

Resumen

El seguimiento de instrucciones es una capacidad fundamental de los modelos de lenguaje, que requiere que el modelo reconozca incluso los requisitos más sutiles en las instrucciones y los refleje con precisión en su salida. Tal habilidad es adecuada y a menudo optimizada mediante el aprendizaje de preferencias. Sin embargo, los métodos existentes a menudo muestrean directamente múltiples respuestas independientes del modelo al crear pares de preferencias. Esta práctica puede introducir variaciones de contenido irrelevantes para determinar si la instrucción se sigue precisamente (por ejemplo, diferentes expresiones sobre el mismo significado), interfiriendo con el objetivo de enseñar a los modelos a reconocer las diferencias clave que conducen a una mejor seguimiento de instrucciones. En este sentido, presentamos SPaR, un marco de autojuego que integra la autorrefinación mediante búsqueda en árbol para producir pares de preferencias válidos y comparables libres de distracciones. Al jugar consigo mismo, un modelo de lenguaje de gran tamaño (LLM) emplea una estrategia de búsqueda en árbol para refinar sus respuestas anteriores con respecto a la instrucción, minimizando las variaciones innecesarias. Nuestros experimentos muestran que un modelo LLaMA3-8B, entrenado durante tres iteraciones guiadas por SPaR, supera a GPT-4-Turbo en la evaluación IFEval sin perder capacidades generales. Además, SPaR demuestra una escalabilidad y transferibilidad prometedoras, mejorando significativamente modelos como GLM-4-9B y LLaMA3-70B. También identificamos cómo el escalado de inferencia en la búsqueda en árbol afectaría al rendimiento del modelo. Nuestro código y datos están disponibles públicamente en https://github.com/thu-coai/SPaR.

English

Instruction-following is a fundamental capability of language models, requiring the model to recognize even the most subtle requirements in the instructions and accurately reflect them in its output. Such an ability is well-suited for and often optimized by preference learning. However, existing methods often directly sample multiple independent responses from the model when creating preference pairs. Such practice can introduce content variations irrelevant to whether the instruction is precisely followed (e.g., different expressions about the same semantic), interfering with the goal of teaching models to recognize the key differences that lead to improved instruction following. In light of this, we introduce SPaR, a self-play framework integrating tree-search self-refinement to yield valid and comparable preference pairs free from distractions. By playing against itself, an LLM employs a tree-search strategy to refine its previous responses with respect to the instruction while minimizing unnecessary variations. Our experiments show that a LLaMA3-8B model, trained over three iterations guided by SPaR, surpasses GPT-4-Turbo on the IFEval benchmark without losing general capabilities. Furthermore, SPaR demonstrates promising scalability and transferability, greatly enhancing models like GLM-4-9B and LLaMA3-70B. We also identify how inference scaling in tree search would impact model performance. Our code and data are publicly available at https://github.com/thu-coai/SPaR.