答えを超えた学習：数学的推論のための内省を伴う言語モデルのトレーニング

Learn Beyond The Answer: Training Language Models with Reflection for Mathematical Reasoning

June 17, 2024

著者: Zhihan Zhang, Zhenwen Liang, Wenhao Yu, Dian Yu, Mengzhao Jia, Dong Yu, Meng Jiang

cs.AI

要旨

教師ありファインチューニングは、様々な数学的推論タスクにおいて言語モデルの問題解決能力を向上させます。この利点を最大化するため、既存の研究では、標準的な単一ラウンドの質問応答設定において有効な、様々なデータ拡張技術を用いてトレーニングセットを拡大することに焦点を当てています。本研究では、トレーニング対象の問題に対する深い理解を育むことを目的とした新たな技術を導入し、標準的な設定だけでなく、反射的思考を必要とするより複雑なシナリオにおいても性能を向上させます。具体的には、各トレーニングインスタンスに問題の反省を組み込む「反射的拡張」という手法を提案します。この手法は、モデルに代替的な視点を考慮させ、抽象化や類推に関与させることで、反射的推論を通じた徹底的な理解を促進します。大規模な実験により、我々の目的の達成が検証され、本手法の独自の利点と既存の拡張技術に対する補完的な性質が強調されています。

English

Supervised fine-tuning enhances the problem-solving abilities of language models across various mathematical reasoning tasks. To maximize such benefits, existing research focuses on broadening the training set with various data augmentation techniques, which is effective for standard single-round question-answering settings. Our work introduces a novel technique aimed at cultivating a deeper understanding of the training problems at hand, enhancing performance not only in standard settings but also in more complex scenarios that require reflective thinking. Specifically, we propose reflective augmentation, a method that embeds problem reflection into each training instance. It trains the model to consider alternative perspectives and engage with abstractions and analogies, thereby fostering a thorough comprehension through reflective reasoning. Extensive experiments validate the achievement of our aim, underscoring the unique advantages of our method and its complementary nature relative to existing augmentation techniques.