Modelos de Linguagem de Grande Escala e Falhas no Raciocínio Matemático

Large Language Models and Mathematical Reasoning Failures

February 17, 2025

Autores: Johan Boye, Birger Moell

cs.AI

Resumo

Este artigo investiga as capacidades de raciocínio matemático de modelos de linguagem de grande escala (LLMs) utilizando 50 problemas de palavras recém-construídos, de nível do ensino médio. Diferentemente de estudos anteriores que se concentram apenas na correção das respostas, analisamos rigorosamente tanto as respostas finais quanto as etapas da solução para identificar falhas de raciocínio. Avaliando oito modelos de última geração - incluindo Mixtral, Llama, Gemini, GPT-4o e as variantes o1 da OpenAI - descobrimos que, embora modelos mais recentes (por exemplo, o3-mini, deepseek-r1) alcancem maior precisão, todos os modelos exibem erros em raciocínio espacial, planejamento estratégico e aritmética, às vezes produzindo respostas corretas por meio de lógica falha. Modos comuns de falha incluem suposições injustificadas, dependência excessiva de padrões numéricos e dificuldade em traduzir intuição física em etapas matemáticas. A análise manual revela que os modelos têm dificuldade com problemas que exigem dedução em múltiplas etapas ou conhecimento do mundo real, apesar de possuírem amplo conhecimento matemático. Nossos resultados destacam a importância de avaliar os processos de raciocínio, e não apenas as respostas, e alertam contra a superestimação da proficiência dos LLMs na resolução de problemas. O estudo evidencia lacunas persistentes nas habilidades de generalização dos LLMs, enfatizando a necessidade de melhorias direcionadas no raciocínio estruturado e no manuseio de restrições.

English

This paper investigates the mathematical reasoning capabilities of large language models (LLMs) using 50 newly constructed high-school-level word problems. Unlike prior studies that focus solely on answer correctness, we rigorously analyze both final answers and solution steps to identify reasoning failures. Evaluating eight state-of-the-art models - including Mixtral, Llama, Gemini, GPT-4o, and OpenAI's o1 variants - we find that while newer models (e.g., o3-mini, deepseek-r1) achieve higher accuracy, all models exhibit errors in spatial reasoning, strategic planning, and arithmetic, sometimes producing correct answers through flawed logic. Common failure modes include unwarranted assumptions, over-reliance on numerical patterns, and difficulty translating physical intuition into mathematical steps. Manual analysis reveals that models struggle with problems requiring multi-step deduction or real-world knowledge, despite possessing broad mathematical knowledge. Our results underscore the importance of evaluating reasoning processes, not just answers, and caution against overestimating LLMs' problem-solving proficiency. The study highlights persistent gaps in LLMs' generalization abilities, emphasizing the need for targeted improvements in structured reasoning and constraint handling.