단계 제어 DPO: 수학적 추론 강화를 위한 단계별 오류 활용

Step-Controlled DPO: Leveraging Stepwise Error for Enhanced Mathematical Reasoning

June 30, 2024

저자: Zimu Lu, Aojun Zhou, Ke Wang, Houxing Ren, Weikang Shi, Junting Pan, Mingjie Zhan

cs.AI

초록

직접 선호도 최적화(Direct Preference Optimization, DPO)는 추론 및 정렬과 같은 다운스트림 작업에서 대규모 언어 모델(LLMs)의 성능을 향상시키는 데 효과적인 것으로 입증되었습니다. 본 연구에서는 수학적 추론 과정에서 특정 단계에서 오류를 시작하는 부정 샘플을 생성함으로써 단계별 오류 감독을 자동으로 제공하는 방법인 단계 제어 DPO(Step-Controlled DPO, SCDPO)를 제안합니다. 이러한 샘플을 DPO 훈련에 적용함으로써, SCDPO는 모델이 추론 오류를 이해하고 정확한 추론 단계를 출력하도록 더 잘 정렬할 수 있습니다. 우리는 SCDPO를 코드 통합 및 사고의 연쇄(chain-of-thought) 솔루션에 적용하여, 기존의 SFT 모델과 우리가 미세 조정한 두 모델을 포함한 세 가지 다른 SFT 모델에서 단순 DPO 대비 일관된 성능 향상을 경험적으로 보여줍니다. SCDPO와 DPO의 신용 할당에 대한 정성적 분석은 SCDPO가 수학적 솔루션에서 오류를 식별하는 데 효과적임을 입증합니다. 이후 우리는 SCDPO를 InternLM2-20B 모델에 적용하여, GSM8K에서 88.5%, MATH에서 58.1%의 높은 점수를 달성하는 20B 모델을 얻었으며, 이는 다른 모든 오픈소스 LLMs와 견줄 만한 성능으로 우리 방법의 큰 잠재력을 보여줍니다.

English

Direct Preference Optimization (DPO) has proven effective at improving the performance of large language models (LLMs) on downstream tasks such as reasoning and alignment. In this work, we propose Step-Controlled DPO (SCDPO), a method for automatically providing stepwise error supervision by creating negative samples of mathematical reasoning rationales that start making errors at a specified step. By applying these samples in DPO training, SCDPO can better align the model to understand reasoning errors and output accurate reasoning steps. We apply SCDPO to both code-integrated and chain-of-thought solutions, empirically showing that it consistently improves the performance compared to naive DPO on three different SFT models, including one existing SFT model and two models we finetuned. Qualitative analysis of the credit assignment of SCDPO and DPO demonstrates the effectiveness of SCDPO at identifying errors in mathematical solutions. We then apply SCDPO to an InternLM2-20B model, resulting in a 20B model that achieves high scores of 88.5% on GSM8K and 58.1% on MATH, rivaling all other open-source LLMs, showing the great potential of our method.