Grands modèles de langage et échecs de raisonnement mathématique

Large Language Models and Mathematical Reasoning Failures

February 17, 2025

Auteurs: Johan Boye, Birger Moell

cs.AI

Résumé

Cet article étudie les capacités de raisonnement mathématique des grands modèles de langage (LLM) en utilisant 50 problèmes de mots de niveau lycée nouvellement construits. Contrairement aux études antérieures qui se concentrent uniquement sur la correction des réponses, nous analysons rigoureusement à la fois les réponses finales et les étapes de solution pour identifier les échecs de raisonnement. En évaluant huit modèles de pointe - y compris Mixtral, Llama, Gemini, GPT-4o et les variantes o1 d'OpenAI - nous constatons que, bien que les nouveaux modèles (par exemple, o3-mini, deepseek-r1) atteignent une précision plus élevée, tous les modèles présentent des erreurs en matière de raisonnement spatial, de planification stratégique et d'arithmétique, produisant parfois des réponses correctes à travers une logique défectueuse. Les modes d'échec courants incluent des hypothèses non fondées, une dépendance excessive aux schémas numériques et des difficultés à traduire l'intuition physique en étapes mathématiques. L'analyse manuelle révèle que les modèles ont du mal avec les problèmes nécessitant une déduction en plusieurs étapes ou des connaissances du monde réel, malgré leur vaste connaissance mathématique. Nos résultats soulignent l'importance d'évaluer les processus de raisonnement, pas seulement les réponses, et mettent en garde contre la surestimation de la compétence des LLM en résolution de problèmes. L'étude met en lumière les lacunes persistantes dans les capacités de généralisation des LLM, soulignant la nécessité d'améliorations ciblées dans le raisonnement structuré et la gestion des contraintes.

English

This paper investigates the mathematical reasoning capabilities of large language models (LLMs) using 50 newly constructed high-school-level word problems. Unlike prior studies that focus solely on answer correctness, we rigorously analyze both final answers and solution steps to identify reasoning failures. Evaluating eight state-of-the-art models - including Mixtral, Llama, Gemini, GPT-4o, and OpenAI's o1 variants - we find that while newer models (e.g., o3-mini, deepseek-r1) achieve higher accuracy, all models exhibit errors in spatial reasoning, strategic planning, and arithmetic, sometimes producing correct answers through flawed logic. Common failure modes include unwarranted assumptions, over-reliance on numerical patterns, and difficulty translating physical intuition into mathematical steps. Manual analysis reveals that models struggle with problems requiring multi-step deduction or real-world knowledge, despite possessing broad mathematical knowledge. Our results underscore the importance of evaluating reasoning processes, not just answers, and caution against overestimating LLMs' problem-solving proficiency. The study highlights persistent gaps in LLMs' generalization abilities, emphasizing the need for targeted improvements in structured reasoning and constraint handling.