Schrittweise Präferenzoptimierung (Step-DPO) für die langkettige Argumentation von LLMs

Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs

June 26, 2024

Autoren: Xin Lai, Zhuotao Tian, Yukang Chen, Senqiao Yang, Xiangru Peng, Jiaya Jia

cs.AI

Zusammenfassung

Mathematisches Denken stellt eine bedeutende Herausforderung für große Sprachmodelle (LLMs) dar, aufgrund der umfangreichen und präzisen Kette von Schlussfolgerungen, die für die Genauigkeit erforderlich sind. Die Gewährleistung der Korrektheit jedes Schlussfolgerungsschritts ist entscheidend. Um dies zu erreichen, zielen wir darauf ab, die Robustheit und Faktentreue von LLMs durch das Lernen aus menschlichem Feedback zu verbessern. Allerdings haben Direkte Präferenzoptimierung (DPO) nur begrenzte Vorteile für langkettiges mathematisches Denken gezeigt, da Modelle, die DPO verwenden, Schwierigkeiten haben, detaillierte Fehler in falschen Antworten zu identifizieren. Diese Einschränkung resultiert aus einem Mangel an feinkörniger Prozessaufsicht. Wir schlagen eine einfache, effektive und dateneffiziente Methode namens Step-DPO vor, die einzelne Schlussfolgerungsschritte als Einheiten für die Präferenzoptimierung behandelt, anstatt Antworten ganzheitlich zu bewerten. Darüber hinaus haben wir eine Datenkonstruktionspipeline für Step-DPO entwickelt, die die Erstellung eines qualitativ hochwertigen Datensatzes mit 10K schrittweisen Präferenzpaaren ermöglicht. Wir stellen auch fest, dass bei DPO selbstgenerierte Daten effektiver sind als von Menschen oder GPT-4 generierte Daten, aufgrund der außerhalb der Verteilung liegenden Natur der Letzteren. Unsere Ergebnisse zeigen, dass bereits 10K Präferenzdatenpaare und weniger als 500 Step-DPO-Trainingsschritte einen fast 3%igen Genauigkeitsgewinn bei MATH für Modelle mit über 70B Parametern erzielen können. Bemerkenswerterweise erreicht Step-DPO, wenn es auf Qwen2-72B-Instruct angewendet wird, Punktzahlen von 70,8% bzw. 94,0% auf den Testsets von MATH und GSM8K und übertrifft damit eine Reihe von Closed-Source-Modellen, darunter GPT-4-1106, Claude-3-Opus und Gemini-1.5-Pro. Unser Code, unsere Daten und unsere Modelle sind unter https://github.com/dvlab-research/Step-DPO verfügbar.

English

Mathematical reasoning presents a significant challenge for Large Language Models (LLMs) due to the extensive and precise chain of reasoning required for accuracy. Ensuring the correctness of each reasoning step is critical. To address this, we aim to enhance the robustness and factuality of LLMs by learning from human feedback. However, Direct Preference Optimization (DPO) has shown limited benefits for long-chain mathematical reasoning, as models employing DPO struggle to identify detailed errors in incorrect answers. This limitation stems from a lack of fine-grained process supervision. We propose a simple, effective, and data-efficient method called Step-DPO, which treats individual reasoning steps as units for preference optimization rather than evaluating answers holistically. Additionally, we have developed a data construction pipeline for Step-DPO, enabling the creation of a high-quality dataset containing 10K step-wise preference pairs. We also observe that in DPO, self-generated data is more effective than data generated by humans or GPT-4, due to the latter's out-of-distribution nature. Our findings demonstrate that as few as 10K preference data pairs and fewer than 500 Step-DPO training steps can yield a nearly 3% gain in accuracy on MATH for models with over 70B parameters. Notably, Step-DPO, when applied to Qwen2-72B-Instruct, achieves scores of 70.8% and 94.0% on the test sets of MATH and GSM8K, respectively, surpassing a series of closed-source models, including GPT-4-1106, Claude-3-Opus, and Gemini-1.5-Pro. Our code, data, and models are available at https://github.com/dvlab-research/Step-DPO.