Превзойдите ответ: Обучение языковых моделей с использованием отражения для математического рассуждения.

Learn Beyond The Answer: Training Language Models with Reflection for Mathematical Reasoning

June 17, 2024

Авторы: Zhihan Zhang, Zhenwen Liang, Wenhao Yu, Dian Yu, Mengzhao Jia, Dong Yu, Meng Jiang

cs.AI

Аннотация

Надзорное дообучение улучшает способности языковых моделей в решении задач математического рассуждения. Для максимизации таких выгод существующие исследования сосредотачиваются на расширении набора обучающих данных различными техниками аугментации данных, что эффективно для стандартных однокруглых настроек вопрос-ответ. Наша работа представляет новую технику, направленную на развитие более глубокого понимания обучающих задач, улучшая производительность не только в стандартных настройках, но также в более сложных сценариях, требующих рефлексивного мышления. Конкретно, мы предлагаем рефлексивную аугментацию, метод, встраивающий рефлексию задачи в каждый обучающий пример. Он обучает модель рассматривать альтернативные точки зрения, работать с абстракциями и аналогиями, тем самым способствуя более глубокому пониманию через рефлексивное рассуждение. Обширные эксперименты подтверждают достижение нашей цели, подчеркивая уникальные преимущества нашего метода и его дополняющий характер по сравнению с существующими техниками аугментации.

English

Supervised fine-tuning enhances the problem-solving abilities of language models across various mathematical reasoning tasks. To maximize such benefits, existing research focuses on broadening the training set with various data augmentation techniques, which is effective for standard single-round question-answering settings. Our work introduces a novel technique aimed at cultivating a deeper understanding of the training problems at hand, enhancing performance not only in standard settings but also in more complex scenarios that require reflective thinking. Specifically, we propose reflective augmentation, a method that embeds problem reflection into each training instance. It trains the model to consider alternative perspectives and engage with abstractions and analogies, thereby fostering a thorough comprehension through reflective reasoning. Extensive experiments validate the achievement of our aim, underscoring the unique advantages of our method and its complementary nature relative to existing augmentation techniques.