Step-DPO: Stapsgewijze voorkeursoptimalisatie voor langketenredenering van LLM's

Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs

June 26, 2024

Auteurs: Xin Lai, Zhuotao Tian, Yukang Chen, Senqiao Yang, Xiangru Peng, Jiaya Jia

cs.AI

Samenvatting

Wiskundig redeneren vormt een aanzienlijke uitdaging voor Large Language Models (LLMs) vanwege de uitgebreide en precieze redeneerketen die nodig is voor nauwkeurigheid. Het waarborgen van de correctheid van elke redeneerstap is cruciaal. Om dit aan te pakken, streven we ernaar de robuustheid en feitelijkheid van LLMs te verbeteren door te leren van menselijke feedback. Direct Preference Optimization (DPO) heeft echter beperkte voordelen getoond voor langere redeneerketens in wiskunde, aangezien modellen die DPO gebruiken moeite hebben om gedetailleerde fouten in onjuiste antwoorden te identificeren. Deze beperking komt voort uit een gebrek aan fijnmazige procesbegeleiding. Wij stellen een eenvoudige, effectieve en data-efficiënte methode voor genaamd Step-DPO, waarbij individuele redeneerstappen als eenheden voor voorkeursoptimalisatie worden behandeld in plaats van antwoorden holistisch te evalueren. Daarnaast hebben we een dataconstructiepijplijn ontwikkeld voor Step-DPO, waardoor het mogelijk wordt om een hoogwaardige dataset te creëren die 10K stapgewijze voorkeursparen bevat. We merken ook op dat in DPO zelf gegenereerde data effectiever is dan data gegenereerd door mensen of GPT-4, vanwege de out-of-distribution aard van de laatste. Onze bevindingen tonen aan dat slechts 10K voorkeursdataparen en minder dan 500 Step-DPO trainingsstappen een nauwkeurigheidswinst van bijna 3% kunnen opleveren op MATH voor modellen met meer dan 70B parameters. Opmerkelijk is dat Step-DPO, wanneer toegepast op Qwen2-72B-Instruct, scores van 70,8% en 94,0% behaalt op de test sets van MATH en GSM8K, respectievelijk, waarmee het een reeks closed-source modellen overtreft, waaronder GPT-4-1106, Claude-3-Opus en Gemini-1.5-Pro. Onze code, data en modellen zijn beschikbaar op https://github.com/dvlab-research/Step-DPO.

English

Mathematical reasoning presents a significant challenge for Large Language Models (LLMs) due to the extensive and precise chain of reasoning required for accuracy. Ensuring the correctness of each reasoning step is critical. To address this, we aim to enhance the robustness and factuality of LLMs by learning from human feedback. However, Direct Preference Optimization (DPO) has shown limited benefits for long-chain mathematical reasoning, as models employing DPO struggle to identify detailed errors in incorrect answers. This limitation stems from a lack of fine-grained process supervision. We propose a simple, effective, and data-efficient method called Step-DPO, which treats individual reasoning steps as units for preference optimization rather than evaluating answers holistically. Additionally, we have developed a data construction pipeline for Step-DPO, enabling the creation of a high-quality dataset containing 10K step-wise preference pairs. We also observe that in DPO, self-generated data is more effective than data generated by humans or GPT-4, due to the latter's out-of-distribution nature. Our findings demonstrate that as few as 10K preference data pairs and fewer than 500 Step-DPO training steps can yield a nearly 3% gain in accuracy on MATH for models with over 70B parameters. Notably, Step-DPO, when applied to Qwen2-72B-Instruct, achieves scores of 70.8% and 94.0% on the test sets of MATH and GSM8K, respectively, surpassing a series of closed-source models, including GPT-4-1106, Claude-3-Opus, and Gemini-1.5-Pro. Our code, data, and models are available at https://github.com/dvlab-research/Step-DPO.