Imparare Oltre la Risposta: Addestrare Modelli Linguistici con la Riflessione per il Ragionamento Matematico

Learn Beyond The Answer: Training Language Models with Reflection for Mathematical Reasoning

June 17, 2024

Autori: Zhihan Zhang, Zhenwen Liang, Wenhao Yu, Dian Yu, Mengzhao Jia, Dong Yu, Meng Jiang

cs.AI

Abstract

Il fine-tuning supervisionato potenzia le capacità di problem solving dei modelli linguistici in vari compiti di ragionamento matematico. Per massimizzare tali benefici, la ricerca esistente si concentra sull'ampliamento del set di allenamento con diverse tecniche di aumento dei dati, efficaci per contesti standard di domanda-risposta a singolo round. Il nostro lavoro introduce una tecnica innovativa mirata a coltivare una comprensione più profonda dei problemi di allenamento, migliorando le prestazioni non solo in contesti standard ma anche in scenari più complessi che richiedono pensiero riflessivo. Nello specifico, proponiamo l'aumento riflessivo, un metodo che incorpora la riflessione sul problema in ogni istanza di allenamento. Esso allena il modello a considerare prospettive alternative e a interagire con astrazioni e analogie, favorendo così una comprensione approfondita attraverso il ragionamento riflessivo. Esperimenti estesi convalidano il raggiungimento del nostro obiettivo, evidenziando i vantaggi unici del nostro metodo e la sua natura complementare rispetto alle tecniche di aumento esistenti.

English

Supervised fine-tuning enhances the problem-solving abilities of language models across various mathematical reasoning tasks. To maximize such benefits, existing research focuses on broadening the training set with various data augmentation techniques, which is effective for standard single-round question-answering settings. Our work introduces a novel technique aimed at cultivating a deeper understanding of the training problems at hand, enhancing performance not only in standard settings but also in more complex scenarios that require reflective thinking. Specifically, we propose reflective augmentation, a method that embeds problem reflection into each training instance. It trains the model to consider alternative perspectives and engage with abstractions and analogies, thereby fostering a thorough comprehension through reflective reasoning. Extensive experiments validate the achievement of our aim, underscoring the unique advantages of our method and its complementary nature relative to existing augmentation techniques.