Modelos de Lenguaje Grandes y Fallas en el Razonamiento Matemático

Large Language Models and Mathematical Reasoning Failures

February 17, 2025

Autores: Johan Boye, Birger Moell

cs.AI

Resumen

Este documento investiga las capacidades de razonamiento matemático de los modelos de lenguaje grandes (LLMs, por sus siglas en inglés) utilizando 50 problemas de palabras de nivel de escuela secundaria recién construidos. A diferencia de estudios anteriores que se centran únicamente en la corrección de respuestas, analizamos rigurosamente tanto las respuestas finales como los pasos de solución para identificar fallas de razonamiento. Evaluando ocho modelos de última generación, incluidos Mixtral, Llama, Gemini, GPT-4o y las variantes o1 de OpenAI, encontramos que si bien los modelos más nuevos (por ejemplo, o3-mini, deepseek-r1) logran una mayor precisión, todos los modelos presentan errores en el razonamiento espacial, la planificación estratégica y la aritmética, a veces produciendo respuestas correctas a través de lógica defectuosa. Los modos comunes de falla incluyen suposiciones infundadas, una dependencia excesiva en patrones numéricos y dificultades para traducir la intuición física en pasos matemáticos. El análisis manual revela que los modelos tienen dificultades con problemas que requieren deducciones de múltiples pasos o conocimientos del mundo real, a pesar de poseer un amplio conocimiento matemático. Nuestros resultados subrayan la importancia de evaluar los procesos de razonamiento, no solo las respuestas, y advierten contra la sobreestimación de la competencia de resolución de problemas de los LLMs. El estudio destaca brechas persistentes en las capacidades de generalización de los LLMs, enfatizando la necesidad de mejoras específicas en el razonamiento estructurado y el manejo de restricciones.

English

This paper investigates the mathematical reasoning capabilities of large language models (LLMs) using 50 newly constructed high-school-level word problems. Unlike prior studies that focus solely on answer correctness, we rigorously analyze both final answers and solution steps to identify reasoning failures. Evaluating eight state-of-the-art models - including Mixtral, Llama, Gemini, GPT-4o, and OpenAI's o1 variants - we find that while newer models (e.g., o3-mini, deepseek-r1) achieve higher accuracy, all models exhibit errors in spatial reasoning, strategic planning, and arithmetic, sometimes producing correct answers through flawed logic. Common failure modes include unwarranted assumptions, over-reliance on numerical patterns, and difficulty translating physical intuition into mathematical steps. Manual analysis reveals that models struggle with problems requiring multi-step deduction or real-world knowledge, despite possessing broad mathematical knowledge. Our results underscore the importance of evaluating reasoning processes, not just answers, and caution against overestimating LLMs' problem-solving proficiency. The study highlights persistent gaps in LLMs' generalization abilities, emphasizing the need for targeted improvements in structured reasoning and constraint handling.