SPaR: Zelfspel met Boomzoekverfijning om de Instructieopvolging te Verbeteren in Grote Taalmodellen

SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models

December 16, 2024

Auteurs: Jiale Cheng, Xiao Liu, Cunxiang Wang, Xiaotao Gu, Yida Lu, Dan Zhang, Yuxiao Dong, Jie Tang, Hongning Wang, Minlie Huang

cs.AI

Samenvatting

Het volgen van instructies is een fundamentele vaardigheid van taalmodellen, waarbij het model zelfs de meest subtiele vereisten in de instructies moet herkennen en nauwkeurig moet weergeven in de output. Een dergelijke vaardigheid is goed geschikt voor en wordt vaak geoptimaliseerd door voorkeursleren. Bestaande methoden monsteren echter vaak rechtstreeks meerdere onafhankelijke reacties van het model bij het creëren van voorkeursparen. Een dergelijke praktijk kan inhoudelijke variaties introduceren die niet relevant zijn voor het precies volgen van de instructie (bijv. verschillende uitdrukkingen over dezelfde betekenis), wat het doel van het leren van modellen om de belangrijkste verschillen te herkennen die leiden tot verbeterd instructievolgen, verstoort. In dit licht introduceren we SPaR, een zelfspelkader dat boomzoekzelfverfijning integreert om geldige en vergelijkbare voorkeursparen vrij van afleidingen te produceren. Door tegen zichzelf te spelen, past een LLM een boomzoekstrategie toe om zijn eerdere reacties te verfijnen met betrekking tot de instructie, terwijl onnodige variaties worden geminimaliseerd. Onze experimenten tonen aan dat een LLaMA3-8B-model, getraind over drie iteraties geleid door SPaR, GPT-4-Turbo overtreft op de IFEval-benchmark zonder algemene capaciteiten te verliezen. Bovendien toont SPaR veelbelovende schaalbaarheid en overdraagbaarheid, waarbij modellen zoals GLM-4-9B en LLaMA3-70B aanzienlijk worden verbeterd. We identificeren ook hoe schalen van inferentie in boomzoekopdrachten de prestaties van het model zouden beïnvloeden. Onze code en gegevens zijn openbaar beschikbaar op https://github.com/thu-coai/SPaR.

English

Instruction-following is a fundamental capability of language models, requiring the model to recognize even the most subtle requirements in the instructions and accurately reflect them in its output. Such an ability is well-suited for and often optimized by preference learning. However, existing methods often directly sample multiple independent responses from the model when creating preference pairs. Such practice can introduce content variations irrelevant to whether the instruction is precisely followed (e.g., different expressions about the same semantic), interfering with the goal of teaching models to recognize the key differences that lead to improved instruction following. In light of this, we introduce SPaR, a self-play framework integrating tree-search self-refinement to yield valid and comparable preference pairs free from distractions. By playing against itself, an LLM employs a tree-search strategy to refine its previous responses with respect to the instruction while minimizing unnecessary variations. Our experiments show that a LLaMA3-8B model, trained over three iterations guided by SPaR, surpasses GPT-4-Turbo on the IFEval benchmark without losing general capabilities. Furthermore, SPaR demonstrates promising scalability and transferability, greatly enhancing models like GLM-4-9B and LLaMA3-70B. We also identify how inference scaling in tree search would impact model performance. Our code and data are publicly available at https://github.com/thu-coai/SPaR.