Leer Voorbij Het Antwoord: Taalmodellen Trainen met Reflectie voor Wiskundig Redeneren
Learn Beyond The Answer: Training Language Models with Reflection for Mathematical Reasoning
June 17, 2024
Auteurs: Zhihan Zhang, Zhenwen Liang, Wenhao Yu, Dian Yu, Mengzhao Jia, Dong Yu, Meng Jiang
cs.AI
Samenvatting
Gesuperviseerde fine-tuning verbetert de probleemoplossende vaardigheden van taalmodelen bij diverse wiskundige redeneertaken. Om deze voordelen te maximaliseren, richt bestaand onderzoek zich op het uitbreiden van de trainingsset met verschillende data-augmentatietechnieken, wat effectief is voor standaard instellingen met één ronde vraag-antwoord. Ons werk introduceert een nieuwe techniek die gericht is op het ontwikkelen van een dieper begrip van de trainingsproblemen, waardoor de prestaties niet alleen in standaardinstellingen worden verbeterd, maar ook in complexere scenario's die reflectief denken vereisen. Specifiek stellen we reflectieve augmentatie voor, een methode die probleemreflectie in elk trainingsvoorbeeld integreert. Het traint het model om alternatieve perspectieven te overwegen en zich bezig te houden met abstracties en analogieën, waardoor een grondig begrip wordt bevorderd door reflectief redeneren. Uitgebreide experimenten valideren het bereiken van ons doel, waarbij de unieke voordelen van onze methode en het complementaire karakter ten opzichte van bestaande augmentatietechnieken worden benadrukt.
English
Supervised fine-tuning enhances the problem-solving abilities of language
models across various mathematical reasoning tasks. To maximize such benefits,
existing research focuses on broadening the training set with various data
augmentation techniques, which is effective for standard single-round
question-answering settings. Our work introduces a novel technique aimed at
cultivating a deeper understanding of the training problems at hand, enhancing
performance not only in standard settings but also in more complex scenarios
that require reflective thinking. Specifically, we propose reflective
augmentation, a method that embeds problem reflection into each training
instance. It trains the model to consider alternative perspectives and engage
with abstractions and analogies, thereby fostering a thorough comprehension
through reflective reasoning. Extensive experiments validate the achievement of
our aim, underscoring the unique advantages of our method and its complementary
nature relative to existing augmentation techniques.