SPaR: Самоигра с уточнением поиска по дереву для улучшения Следования инструкциям в больших языковых моделях

SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models

December 16, 2024

Авторы: Jiale Cheng, Xiao Liu, Cunxiang Wang, Xiaotao Gu, Yida Lu, Dan Zhang, Yuxiao Dong, Jie Tang, Hongning Wang, Minlie Huang

cs.AI

Аннотация

Следование инструкциям является фундаментальной способностью языковых моделей, требующей от модели распознавания даже самых тонких требований в инструкциях и их точного отражения в выходных данных. Такая способность хорошо подходит для и часто оптимизируется обучением предпочтений. Однако существующие методы часто непосредственно выбирают несколько независимых ответов от модели при создании пар предпочтений. Такая практика может внести вариации контента, не имеющие отношения к тому, была ли инструкция точно выполнена (например, различные выражения о том же семантическом значении), мешая достижению цели обучения моделей распознавать ключевые различия, приводящие к улучшению следования инструкциям. В свете этого мы представляем SPaR, фреймворк самоигры, интегрирующий самоусовершенствование с помощью древовидного поиска для получения действительных и сравнимых пар предпочтений, свободных от отвлечений. Играя против самого себя, модель LLM использует стратегию древовидного поиска для улучшения своих предыдущих ответов с учетом инструкции, минимизируя ненужные вариации. Наши эксперименты показывают, что модель LLaMA3-8B, обученная за три итерации под руководством SPaR, превосходит GPT-4-Turbo на бенчмарке IFEval, не теряя общих возможностей. Более того, SPaR демонстрирует многообещающую масштабируемость и переносимость, значительно улучшая модели, такие как GLM-4-9B и LLaMA3-70B. Мы также выявляем, как масштабирование вывода в древовидном поиске повлияет на производительность модели. Наш код и данные доступны публично по адресу https://github.com/thu-coai/SPaR.

English

Instruction-following is a fundamental capability of language models, requiring the model to recognize even the most subtle requirements in the instructions and accurately reflect them in its output. Such an ability is well-suited for and often optimized by preference learning. However, existing methods often directly sample multiple independent responses from the model when creating preference pairs. Such practice can introduce content variations irrelevant to whether the instruction is precisely followed (e.g., different expressions about the same semantic), interfering with the goal of teaching models to recognize the key differences that lead to improved instruction following. In light of this, we introduce SPaR, a self-play framework integrating tree-search self-refinement to yield valid and comparable preference pairs free from distractions. By playing against itself, an LLM employs a tree-search strategy to refine its previous responses with respect to the instruction while minimizing unnecessary variations. Our experiments show that a LLaMA3-8B model, trained over three iterations guided by SPaR, surpasses GPT-4-Turbo on the IFEval benchmark without losing general capabilities. Furthermore, SPaR demonstrates promising scalability and transferability, greatly enhancing models like GLM-4-9B and LLaMA3-70B. We also identify how inference scaling in tree search would impact model performance. Our code and data are publicly available at https://github.com/thu-coai/SPaR.