Step-DPO: Optimización de Preferencias Paso a Paso para el Razonamiento de Cadena Larga en Modelos de Lenguaje

Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs

June 26, 2024

Autores: Xin Lai, Zhuotao Tian, Yukang Chen, Senqiao Yang, Xiangru Peng, Jiaya Jia

cs.AI

Resumen

El razonamiento matemático presenta un desafío significativo para los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) debido a la extensa y precisa cadena de razonamiento requerida para lograr precisión. Garantizar la corrección de cada paso del razonamiento es crucial. Para abordar esto, nuestro objetivo es mejorar la robustez y factualidad de los LLMs aprendiendo a partir de la retroalimentación humana. Sin embargo, la Optimización Directa de Preferencias (DPO, por sus siglas en inglés) ha mostrado beneficios limitados para el razonamiento matemático de cadena larga, ya que los modelos que emplean DPO tienen dificultades para identificar errores detallados en respuestas incorrectas. Esta limitación surge de la falta de supervisión detallada del proceso. Proponemos un método simple, efectivo y eficiente en términos de datos llamado Step-DPO, que trata los pasos individuales de razonamiento como unidades para la optimización de preferencias, en lugar de evaluar las respuestas de manera holística. Además, hemos desarrollado una pipeline de construcción de datos para Step-DPO, permitiendo la creación de un conjunto de datos de alta calidad que contiene 10K pares de preferencias paso a paso. También observamos que en DPO, los datos autogenerados son más efectivos que los generados por humanos o GPT-4, debido a la naturaleza fuera de distribución de estos últimos. Nuestros hallazgos demuestran que tan solo 10K pares de datos de preferencias y menos de 500 pasos de entrenamiento con Step-DPO pueden generar una mejora de casi un 3% en la precisión en MATH para modelos con más de 70B parámetros. Notablemente, Step-DPO, cuando se aplica a Qwen2-72B-Instruct, alcanza puntajes de 70.8% y 94.0% en los conjuntos de prueba de MATH y GSM8K, respectivamente, superando una serie de modelos de código cerrado, incluyendo GPT-4-1106, Claude-3-Opus y Gemini-1.5-Pro. Nuestro código, datos y modelos están disponibles en https://github.com/dvlab-research/Step-DPO.

English

Mathematical reasoning presents a significant challenge for Large Language Models (LLMs) due to the extensive and precise chain of reasoning required for accuracy. Ensuring the correctness of each reasoning step is critical. To address this, we aim to enhance the robustness and factuality of LLMs by learning from human feedback. However, Direct Preference Optimization (DPO) has shown limited benefits for long-chain mathematical reasoning, as models employing DPO struggle to identify detailed errors in incorrect answers. This limitation stems from a lack of fine-grained process supervision. We propose a simple, effective, and data-efficient method called Step-DPO, which treats individual reasoning steps as units for preference optimization rather than evaluating answers holistically. Additionally, we have developed a data construction pipeline for Step-DPO, enabling the creation of a high-quality dataset containing 10K step-wise preference pairs. We also observe that in DPO, self-generated data is more effective than data generated by humans or GPT-4, due to the latter's out-of-distribution nature. Our findings demonstrate that as few as 10K preference data pairs and fewer than 500 Step-DPO training steps can yield a nearly 3% gain in accuracy on MATH for models with over 70B parameters. Notably, Step-DPO, when applied to Qwen2-72B-Instruct, achieves scores of 70.8% and 94.0% on the test sets of MATH and GSM8K, respectively, surpassing a series of closed-source models, including GPT-4-1106, Claude-3-Opus, and Gemini-1.5-Pro. Our code, data, and models are available at https://github.com/dvlab-research/Step-DPO.