Step-DPO: Ottimizzazione Step-by-Step delle Preferenze per il Ragionamento a Lunga Catena nei Modelli Linguistici di Grande Dimensione

Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs

June 26, 2024

Autori: Xin Lai, Zhuotao Tian, Yukang Chen, Senqiao Yang, Xiangru Peng, Jiaya Jia

cs.AI

Abstract

Il ragionamento matematico rappresenta una sfida significativa per i Modelli Linguistici di Grande Dimensione (LLMs) a causa della catena di ragionamento estesa e precisa richiesta per ottenere accuratezza. Garantire la correttezza di ogni passo del ragionamento è fondamentale. Per affrontare questo problema, miriamo a migliorare la robustezza e la veridicità degli LLMs apprendendo dal feedback umano. Tuttavia, l'ottimizzazione diretta delle preferenze (DPO) ha mostrato benefici limitati per il ragionamento matematico a catena lunga, poiché i modelli che utilizzano DPO faticano a identificare errori dettagliati nelle risposte errate. Questa limitazione deriva da una mancanza di supervisione fine del processo. Proponiamo un metodo semplice, efficace e efficiente in termini di dati chiamato Step-DPO, che tratta i singoli passi del ragionamento come unità per l'ottimizzazione delle preferenze, anziché valutare le risposte in modo olistico. Inoltre, abbiamo sviluppato una pipeline di costruzione dei dati per Step-DPO, che consente la creazione di un dataset di alta qualità contenente 10K coppie di preferenze passo-passo. Osserviamo anche che nella DPO, i dati auto-generati sono più efficaci rispetto ai dati generati da esseri umani o GPT-4, a causa della natura fuori distribuzione di quest'ultimi. I nostri risultati dimostrano che con appena 10K coppie di dati di preferenza e meno di 500 passi di addestramento Step-DPO, è possibile ottenere un guadagno di quasi il 3% in accuratezza su MATH per modelli con oltre 70B parametri. In particolare, Step-DPO, applicato a Qwen2-72B-Instruct, raggiunge punteggi del 70,8% e del 94,0% sui set di test di MATH e GSM8K, rispettivamente, superando una serie di modelli closed-source, tra cui GPT-4-1106, Claude-3-Opus e Gemini-1.5-Pro. Il nostro codice, dati e modelli sono disponibili su https://github.com/dvlab-research/Step-DPO.

English

Mathematical reasoning presents a significant challenge for Large Language Models (LLMs) due to the extensive and precise chain of reasoning required for accuracy. Ensuring the correctness of each reasoning step is critical. To address this, we aim to enhance the robustness and factuality of LLMs by learning from human feedback. However, Direct Preference Optimization (DPO) has shown limited benefits for long-chain mathematical reasoning, as models employing DPO struggle to identify detailed errors in incorrect answers. This limitation stems from a lack of fine-grained process supervision. We propose a simple, effective, and data-efficient method called Step-DPO, which treats individual reasoning steps as units for preference optimization rather than evaluating answers holistically. Additionally, we have developed a data construction pipeline for Step-DPO, enabling the creation of a high-quality dataset containing 10K step-wise preference pairs. We also observe that in DPO, self-generated data is more effective than data generated by humans or GPT-4, due to the latter's out-of-distribution nature. Our findings demonstrate that as few as 10K preference data pairs and fewer than 500 Step-DPO training steps can yield a nearly 3% gain in accuracy on MATH for models with over 70B parameters. Notably, Step-DPO, when applied to Qwen2-72B-Instruct, achieves scores of 70.8% and 94.0% on the test sets of MATH and GSM8K, respectively, surpassing a series of closed-source models, including GPT-4-1106, Claude-3-Opus, and Gemini-1.5-Pro. Our code, data, and models are available at https://github.com/dvlab-research/Step-DPO.