답을 넘어 학습하라: 수학적 추론을 위한 성찰 기반 언어 모델 훈련

Learn Beyond The Answer: Training Language Models with Reflection for Mathematical Reasoning

June 17, 2024

저자: Zhihan Zhang, Zhenwen Liang, Wenhao Yu, Dian Yu, Mengzhao Jia, Dong Yu, Meng Jiang

cs.AI

초록

지도학습 기반 미세조정은 다양한 수학적 추론 과제에서 언어 모델의 문제 해결 능력을 향상시킵니다. 이러한 이점을 극대화하기 위해 기존 연구는 다양한 데이터 증강 기법을 통해 훈련 세트를 확장하는 데 초점을 맞추었으며, 이는 표준 단일 라운드 질의응답 설정에서 효과적입니다. 본 연구는 훈련 문제에 대한 더 깊은 이해를 도모함으로써 표준 설정뿐만 아니라 반성적 사고를 요구하는 더 복잡한 시나리오에서도 성능을 향상시키는 새로운 기법을 소개합니다. 구체적으로, 우리는 각 훈련 인스턴스에 문제 반영을 내재화하는 반영적 증강 기법을 제안합니다. 이 기법은 모델이 대안적 관점을 고려하고 추상화 및 유추와 상호작용하도록 훈련시켜, 반성적 추론을 통해 철저한 이해를 도모합니다. 광범위한 실험을 통해 우리의 목표 달성을 검증하였으며, 본 기법의 독창적인 장점과 기존 증강 기법과의 상호보완적 특성을 강조합니다.

English

Supervised fine-tuning enhances the problem-solving abilities of language models across various mathematical reasoning tasks. To maximize such benefits, existing research focuses on broadening the training set with various data augmentation techniques, which is effective for standard single-round question-answering settings. Our work introduces a novel technique aimed at cultivating a deeper understanding of the training problems at hand, enhancing performance not only in standard settings but also in more complex scenarios that require reflective thinking. Specifically, we propose reflective augmentation, a method that embeds problem reflection into each training instance. It trains the model to consider alternative perspectives and engage with abstractions and analogies, thereby fostering a thorough comprehension through reflective reasoning. Extensive experiments validate the achievement of our aim, underscoring the unique advantages of our method and its complementary nature relative to existing augmentation techniques.