Step-DPO: Otimização de Preferência Passo a Passo para Raciocínio de Longa Cadeia de LLMs

Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs

June 26, 2024

Autores: Xin Lai, Zhuotao Tian, Yukang Chen, Senqiao Yang, Xiangru Peng, Jiaya Jia

cs.AI

Resumo

O raciocínio matemático apresenta um desafio significativo para Modelos de Linguagem de Grande Escala (LLMs) devido à extensa e precisa cadeia de raciocínio necessária para a precisão. Garantir a correção de cada etapa de raciocínio é fundamental. Para lidar com isso, nosso objetivo é aprimorar a robustez e a factualidade dos LLMs aprendendo com o feedback humano. No entanto, a Otimização de Preferência Direta (DPO) tem mostrado benefícios limitados para o raciocínio matemático de longa cadeia, uma vez que os modelos que utilizam DPO têm dificuldade em identificar erros detalhados em respostas incorretas. Essa limitação decorre da falta de supervisão de processo refinada. Propomos um método simples, eficaz e eficiente em dados chamado Step-DPO, que trata as etapas individuais de raciocínio como unidades para otimização de preferência, em vez de avaliar respostas de forma holística. Além disso, desenvolvemos um pipeline de construção de dados para Step-DPO, possibilitando a criação de um conjunto de dados de alta qualidade contendo 10 mil pares de preferência em etapas. Observamos também que, na DPO, os dados autogerados são mais eficazes do que os dados gerados por humanos ou GPT-4, devido à natureza fora da distribuição destes últimos. Nossas descobertas demonstram que tão poucos quanto 10 mil pares de dados de preferência e menos de 500 etapas de treinamento do Step-DPO podem resultar em um ganho de quase 3% em precisão em MATEMÁTICA para modelos com mais de 70 bilhões de parâmetros. Notavelmente, o Step-DPO, quando aplicado ao Qwen2-72B-Instruct, alcança pontuações de 70,8% e 94,0% nos conjuntos de teste de MATEMÁTICA e GSM8K, respectivamente, superando uma série de modelos de código fechado, incluindo GPT-4-1106, Claude-3-Opus e Gemini-1.5-Pro. Nosso código, dados e modelos estão disponíveis em https://github.com/dvlab-research/Step-DPO.

English

Mathematical reasoning presents a significant challenge for Large Language Models (LLMs) due to the extensive and precise chain of reasoning required for accuracy. Ensuring the correctness of each reasoning step is critical. To address this, we aim to enhance the robustness and factuality of LLMs by learning from human feedback. However, Direct Preference Optimization (DPO) has shown limited benefits for long-chain mathematical reasoning, as models employing DPO struggle to identify detailed errors in incorrect answers. This limitation stems from a lack of fine-grained process supervision. We propose a simple, effective, and data-efficient method called Step-DPO, which treats individual reasoning steps as units for preference optimization rather than evaluating answers holistically. Additionally, we have developed a data construction pipeline for Step-DPO, enabling the creation of a high-quality dataset containing 10K step-wise preference pairs. We also observe that in DPO, self-generated data is more effective than data generated by humans or GPT-4, due to the latter's out-of-distribution nature. Our findings demonstrate that as few as 10K preference data pairs and fewer than 500 Step-DPO training steps can yield a nearly 3% gain in accuracy on MATH for models with over 70B parameters. Notably, Step-DPO, when applied to Qwen2-72B-Instruct, achieves scores of 70.8% and 94.0% on the test sets of MATH and GSM8K, respectively, surpassing a series of closed-source models, including GPT-4-1106, Claude-3-Opus, and Gemini-1.5-Pro. Our code, data, and models are available at https://github.com/dvlab-research/Step-DPO.