Шаговая оптимизация предпочтений для длительного цепочечного рассуждения в LLM.

Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs

June 26, 2024

Авторы: Xin Lai, Zhuotao Tian, Yukang Chen, Senqiao Yang, Xiangru Peng, Jiaya Jia

cs.AI

Аннотация

Математическое мышление представляет существенное препятствие для моделей больших языковых моделей (LLM) из-за необходимости обширной и точной цепочки рассуждений для достижения точности. Обеспечение правильности каждого шага рассуждения критично. Для решения этой проблемы мы стремимся улучшить устойчивость и фактичность LLM, извлекая уроки из обратной связи человека. Однако прямая оптимизация предпочтений (DPO) показала ограниченные преимущества для длинных цепочек математических рассуждений, поскольку модели, использующие DPO, испытывают затруднения с выявлением детальных ошибок в неправильных ответах. Это ограничение обусловлено отсутствием тонкой процессуальной надзорной деятельности. Мы предлагаем простой, эффективный и экономичный метод, названный Step-DPO, который рассматривает отдельные шаги рассуждения как единицы для оптимизации предпочтений, а не оценивает ответы в целом. Кроме того, мы разработали конвейер построения данных для Step-DPO, позволяющий создавать высококачественный набор данных, содержащий 10 тыс. пар предпочтений по шагам. Мы также отмечаем, что в DPO самосозданные данные эффективнее данных, созданных людьми или GPT-4, из-за их несоответствия распределению. Наши результаты показывают, что всего 10 тыс. пар данных предпочтений и менее 500 шагов обучения Step-DPO могут привести к приросту точности на MATH на почти 3% для моделей с более чем 70 млрд параметров. Особенно стоит отметить, что Step-DPO, примененный к Qwen2-72B-Instruct, достигает результатов 70,8% и 94,0% на тестовых наборах MATH и GSM8K соответственно, превосходя ряд закрытых моделей, включая GPT-4-1106, Claude-3-Opus и Gemini-1.5-Pro. Наш код, данные и модели доступны по адресу https://github.com/dvlab-research/Step-DPO.

English

Mathematical reasoning presents a significant challenge for Large Language Models (LLMs) due to the extensive and precise chain of reasoning required for accuracy. Ensuring the correctness of each reasoning step is critical. To address this, we aim to enhance the robustness and factuality of LLMs by learning from human feedback. However, Direct Preference Optimization (DPO) has shown limited benefits for long-chain mathematical reasoning, as models employing DPO struggle to identify detailed errors in incorrect answers. This limitation stems from a lack of fine-grained process supervision. We propose a simple, effective, and data-efficient method called Step-DPO, which treats individual reasoning steps as units for preference optimization rather than evaluating answers holistically. Additionally, we have developed a data construction pipeline for Step-DPO, enabling the creation of a high-quality dataset containing 10K step-wise preference pairs. We also observe that in DPO, self-generated data is more effective than data generated by humans or GPT-4, due to the latter's out-of-distribution nature. Our findings demonstrate that as few as 10K preference data pairs and fewer than 500 Step-DPO training steps can yield a nearly 3% gain in accuracy on MATH for models with over 70B parameters. Notably, Step-DPO, when applied to Qwen2-72B-Instruct, achieves scores of 70.8% and 94.0% on the test sets of MATH and GSM8K, respectively, surpassing a series of closed-source models, including GPT-4-1106, Claude-3-Opus, and Gemini-1.5-Pro. Our code, data, and models are available at https://github.com/dvlab-research/Step-DPO.