Aprender Além da Resposta: Treinando Modelos de Linguagem com Reflexão para Raciocínio Matemático

Learn Beyond The Answer: Training Language Models with Reflection for Mathematical Reasoning

June 17, 2024

Autores: Zhihan Zhang, Zhenwen Liang, Wenhao Yu, Dian Yu, Mengzhao Jia, Dong Yu, Meng Jiang

cs.AI

Resumo

O ajuste fino supervisionado aprimora as habilidades de resolução de problemas dos modelos de linguagem em diversas tarefas de raciocínio matemático. Para maximizar esses benefícios, pesquisas existentes concentram-se em ampliar o conjunto de treinamento com várias técnicas de aumento de dados, o que é eficaz para cenários padrão de perguntas e respostas de rodada única. Nosso trabalho introduz uma técnica inovadora voltada para cultivar uma compreensão mais profunda dos problemas de treinamento em questão, melhorando o desempenho não apenas em cenários padrão, mas também em situações mais complexas que exigem pensamento reflexivo. Especificamente, propomos o aumento reflexivo, um método que incorpora a reflexão sobre o problema em cada instância de treinamento. Ele treina o modelo para considerar perspectivas alternativas e engajar-se com abstrações e analogias, promovendo assim uma compreensão abrangente por meio do raciocínio reflexivo. Experimentos extensivos validam a conquista de nosso objetivo, destacando as vantagens únicas de nosso método e sua natureza complementar em relação às técnicas de aumento existentes.

English

Supervised fine-tuning enhances the problem-solving abilities of language models across various mathematical reasoning tasks. To maximize such benefits, existing research focuses on broadening the training set with various data augmentation techniques, which is effective for standard single-round question-answering settings. Our work introduces a novel technique aimed at cultivating a deeper understanding of the training problems at hand, enhancing performance not only in standard settings but also in more complex scenarios that require reflective thinking. Specifically, we propose reflective augmentation, a method that embeds problem reflection into each training instance. It trains the model to consider alternative perspectives and engage with abstractions and analogies, thereby fostering a thorough comprehension through reflective reasoning. Extensive experiments validate the achievement of our aim, underscoring the unique advantages of our method and its complementary nature relative to existing augmentation techniques.