LEMMA: Aprendendo com Erros para o Avanço Matemático em Modelos de Linguagem de Grande Escala

LEMMA: Learning from Errors for MatheMatical Advancement in LLMs

March 21, 2025

Autores: Zhuoshi Pan, Yu Li, Honglin Lin, Qizhi Pei, Zinan Tang, Wei Wu, Chenlin Ming, H. Vicky Zhao, Conghui He, Lijun Wu

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) têm demonstrado uma capacidade notável de raciocínio na resolução de problemas matemáticos. No entanto, as abordagens existentes concentram-se principalmente em melhorar a qualidade dos dados de treinamento corretos, por exemplo, destilando soluções corretas de alta qualidade a partir de modelos avançados, negligenciando o valor contido nos dados de erro, o que pode prejudicar a capacidade reflexiva do modelo. Embora alguns estudos tentem aproveitar os dados de erro, eles frequentemente envolvem mecanismos complexos, como a Busca em Árvore de Monte Carlo (MCTS) para explorar nós de erro. Neste trabalho, propomos aprimorar a capacidade de raciocínio dos LLMs por meio do Aprendizado a partir de Erros para Avanço Matemático (LEMMA). O LEMMA constrói dados que consistem em uma solução incorreta com uma etapa errônea e uma conexão reflexiva para uma solução correta, visando o ajuste fino. Especificamente, analisamos sistematicamente os tipos de erro gerados pelo modelo e introduzimos um método de aumento de erros baseado em tipos de erro para coletar erros diversos e representativos. As soluções corretas são obtidas tanto corrigindo os erros quanto gerando uma nova solução do zero. Por meio de uma conexão reflexiva suave e consciente do modelo, a solução errônea é transferida para a correta. Ao ajustar o modelo no conjunto de dados construído, ele é capaz de autocorrigir erros de forma autônoma durante o processo de geração, sem depender de modelos de crítica externos. Os resultados experimentais demonstram que o LEMMA alcança melhorias significativas de desempenho em comparação com outras linhas de base robustas.

English

Large language models (LLMs) have demonstrated remarkable reasoning capability in solving mathematical problems. However, existing approaches primarily focus on improving the quality of correct training data, e.g., distilling high-quality correct solutions from advanced models, neglecting the value contained in error data, potentially hindering the model's reflective ability. Though some studies attempt to leverage error data, they often involve complex mechanisms, such as Monte Carlo Tree Search (MCTS) to explore error nodes. In this work, we propose to enhance LLMs' reasoning ability by Learning from Errors for Mathematical Advancement (LEMMA). LEMMA constructs data consisting of an incorrect solution with an erroneous step and a reflection connection to a correct solution for fine-tuning. Specifically, we systematically analyze the model-generated error types and introduce an error-type grounded mistake augmentation method to collect diverse and representative errors. Correct solutions are either from fixing the errors or generating a fresh start. Through a model-aware smooth reflection connection, the erroneous solution is transferred to the correct one. By fine-tuning on the constructed dataset, the model is able to self-correct errors autonomously within the generation process without relying on external critique models. Experimental results demonstrate that LEMMA achieves significant performance improvements over other strong baselines.