SPaR : Auto-apprentissage avec affinage de la recherche arborescente pour améliorer le suivi d'instructions dans les grands modèles de langage

SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models

December 16, 2024

Auteurs: Jiale Cheng, Xiao Liu, Cunxiang Wang, Xiaotao Gu, Yida Lu, Dan Zhang, Yuxiao Dong, Jie Tang, Hongning Wang, Minlie Huang

cs.AI

Résumé

La capacité à suivre les instructions est une compétence fondamentale des modèles de langage, exigeant que le modèle reconnaisse même les exigences les plus subtiles dans les instructions et les reflète avec précision dans sa sortie. Une telle capacité est bien adaptée à l'apprentissage des préférences et est souvent optimisée par celui-ci. Cependant, les méthodes existantes échantillonnent souvent directement plusieurs réponses indépendantes du modèle lors de la création de paires de préférences. Une telle pratique peut introduire des variations de contenu non pertinentes pour savoir si l'instruction est suivie précisément (par exemple, différentes expressions sur le même sémantique), interférant avec l'objectif d'enseigner aux modèles à reconnaître les différences clés qui conduisent à une amélioration du suivi des instructions. Dans ce contexte, nous introduisons SPaR, un cadre d'auto-jeu intégrant l'autoraffinement par recherche arborescente pour produire des paires de préférences valides et comparables, libres de distractions. En jouant contre lui-même, un modèle de langage à très grande échelle (LLM) utilise une stratégie de recherche arborescente pour affiner ses réponses précédentes par rapport à l'instruction tout en minimisant les variations inutiles. Nos expériences montrent qu'un modèle LLaMA3-8B, formé sur trois itérations guidées par SPaR, dépasse GPT-4-Turbo sur le banc d'essai IFEval sans perdre ses capacités générales. De plus, SPaR démontre une évolutivité et une transférabilité prometteuses, améliorant considérablement des modèles tels que GLM-4-9B et LLaMA3-70B. Nous identifions également comment l'extension de l'inférence dans la recherche arborescente affecterait les performances du modèle. Notre code et nos données sont disponibles publiquement sur https://github.com/thu-coai/SPaR.

English

Instruction-following is a fundamental capability of language models, requiring the model to recognize even the most subtle requirements in the instructions and accurately reflect them in its output. Such an ability is well-suited for and often optimized by preference learning. However, existing methods often directly sample multiple independent responses from the model when creating preference pairs. Such practice can introduce content variations irrelevant to whether the instruction is precisely followed (e.g., different expressions about the same semantic), interfering with the goal of teaching models to recognize the key differences that lead to improved instruction following. In light of this, we introduce SPaR, a self-play framework integrating tree-search self-refinement to yield valid and comparable preference pairs free from distractions. By playing against itself, an LLM employs a tree-search strategy to refine its previous responses with respect to the instruction while minimizing unnecessary variations. Our experiments show that a LLaMA3-8B model, trained over three iterations guided by SPaR, surpasses GPT-4-Turbo on the IFEval benchmark without losing general capabilities. Furthermore, SPaR demonstrates promising scalability and transferability, greatly enhancing models like GLM-4-9B and LLaMA3-70B. We also identify how inference scaling in tree search would impact model performance. Our code and data are publicly available at https://github.com/thu-coai/SPaR.