SPaR: Selbstspiel mit Baum-Suche-Verfeinerung zur Verbesserung der Anweisungsbeachtung in großen Sprachmodellen

SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models

December 16, 2024

Autoren: Jiale Cheng, Xiao Liu, Cunxiang Wang, Xiaotao Gu, Yida Lu, Dan Zhang, Yuxiao Dong, Jie Tang, Hongning Wang, Minlie Huang

cs.AI

Zusammenfassung

Das Befolgen von Anweisungen ist eine grundlegende Fähigkeit von Sprachmodellen, die erfordert, dass das Modell selbst die subtilsten Anforderungen in den Anweisungen erkennt und sie genau in seiner Ausgabe widerspiegelt. Eine solche Fähigkeit eignet sich gut für und wird oft durch Präferenzlernen optimiert. Allerdings sampeln bestehende Methoden oft direkt mehrere unabhängige Antworten des Modells, um Präferenzpaare zu erstellen. Eine solche Praxis kann Inhaltsvariationen einführen, die nicht relevant dafür sind, ob die Anweisung genau befolgt wird (z. B. unterschiedliche Ausdrücke über dieselbe Bedeutung), was das Ziel, den Modellen beizubringen, die wesentlichen Unterschiede zu erkennen, die zu einer verbesserten Anweisungsbefolgung führen, beeinträchtigen kann. Vor diesem Hintergrund stellen wir SPaR vor, ein Selbstspiel-Framework, das die Selbstverfeinerung der Baum-Suche integriert, um gültige und vergleichbare Präferenzpaare frei von Ablenkungen zu erzeugen. Indem es gegen sich selbst spielt, verwendet ein LLM eine Baum-Suche-Strategie, um seine vorherigen Antworten in Bezug auf die Anweisung zu verfeinern und unnötige Variationen zu minimieren. Unsere Experimente zeigen, dass ein LLaMA3-8B-Modell, das über drei Iterationen durch SPaR geleitet wurde, den GPT-4-Turbo auf dem IFEval-Benchmark übertrifft, ohne dabei die allgemeinen Fähigkeiten zu verlieren. Darüber hinaus zeigt SPaR vielversprechende Skalierbarkeit und Übertragbarkeit und verbessert Modelle wie GLM-4-9B und LLaMA3-70B erheblich. Wir identifizieren auch, wie die Inferenzskalierung in der Baum-Suche die Leistung des Modells beeinflussen würde. Unser Code und unsere Daten sind öffentlich unter https://github.com/thu-coai/SPaR verfügbar.

English

Instruction-following is a fundamental capability of language models, requiring the model to recognize even the most subtle requirements in the instructions and accurately reflect them in its output. Such an ability is well-suited for and often optimized by preference learning. However, existing methods often directly sample multiple independent responses from the model when creating preference pairs. Such practice can introduce content variations irrelevant to whether the instruction is precisely followed (e.g., different expressions about the same semantic), interfering with the goal of teaching models to recognize the key differences that lead to improved instruction following. In light of this, we introduce SPaR, a self-play framework integrating tree-search self-refinement to yield valid and comparable preference pairs free from distractions. By playing against itself, an LLM employs a tree-search strategy to refine its previous responses with respect to the instruction while minimizing unnecessary variations. Our experiments show that a LLaMA3-8B model, trained over three iterations guided by SPaR, surpasses GPT-4-Turbo on the IFEval benchmark without losing general capabilities. Furthermore, SPaR demonstrates promising scalability and transferability, greatly enhancing models like GLM-4-9B and LLaMA3-70B. We also identify how inference scaling in tree search would impact model performance. Our code and data are publicly available at https://github.com/thu-coai/SPaR.