SPaR: Autojogo com Refinamento de Busca em Árvore para Melhorar o Seguimento de Instruções em Modelos de Linguagem Grandes

SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models

December 16, 2024

Autores: Jiale Cheng, Xiao Liu, Cunxiang Wang, Xiaotao Gu, Yida Lu, Dan Zhang, Yuxiao Dong, Jie Tang, Hongning Wang, Minlie Huang

cs.AI

Resumo

Seguir instruções é uma capacidade fundamental dos modelos de linguagem, exigindo que o modelo reconheça até mesmo os requisitos mais sutis nas instruções e os reflita com precisão em sua saída. Tal habilidade é adequada e frequentemente otimizada pelo aprendizado de preferências. No entanto, os métodos existentes frequentemente amostram diretamente múltiplas respostas independentes do modelo ao criar pares de preferência. Essa prática pode introduzir variações de conteúdo irrelevantes para determinar se a instrução foi seguida precisamente (por exemplo, diferentes expressões sobre o mesmo significado), interferindo no objetivo de ensinar aos modelos o reconhecimento das diferenças-chave que levam a uma melhor execução das instruções. Diante disso, apresentamos o SPaR, um framework de autojogo que integra refinamento automático de busca em árvore para produzir pares de preferência válidos e comparáveis livres de distrações. Ao jogar consigo mesmo, um LLM emprega uma estratégia de busca em árvore para refinar suas respostas anteriores com relação à instrução, minimizando variações desnecessárias. Nossos experimentos mostram que um modelo LLaMA3-8B, treinado ao longo de três iterações guiadas pelo SPaR, supera o GPT-4-Turbo no benchmark IFEval sem perder capacidades gerais. Além disso, o SPaR demonstra escalabilidade e transferibilidade promissoras, aprimorando significativamente modelos como o GLM-4-9B e o LLaMA3-70B. Também identificamos como a escalabilidade de inferência na busca em árvore afetaria o desempenho do modelo. Nosso código e dados estão disponíveis publicamente em https://github.com/thu-coai/SPaR.

English

Instruction-following is a fundamental capability of language models, requiring the model to recognize even the most subtle requirements in the instructions and accurately reflect them in its output. Such an ability is well-suited for and often optimized by preference learning. However, existing methods often directly sample multiple independent responses from the model when creating preference pairs. Such practice can introduce content variations irrelevant to whether the instruction is precisely followed (e.g., different expressions about the same semantic), interfering with the goal of teaching models to recognize the key differences that lead to improved instruction following. In light of this, we introduce SPaR, a self-play framework integrating tree-search self-refinement to yield valid and comparable preference pairs free from distractions. By playing against itself, an LLM employs a tree-search strategy to refine its previous responses with respect to the instruction while minimizing unnecessary variations. Our experiments show that a LLaMA3-8B model, trained over three iterations guided by SPaR, surpasses GPT-4-Turbo on the IFEval benchmark without losing general capabilities. Furthermore, SPaR demonstrates promising scalability and transferability, greatly enhancing models like GLM-4-9B and LLaMA3-70B. We also identify how inference scaling in tree search would impact model performance. Our code and data are publicly available at https://github.com/thu-coai/SPaR.