Große Sprachmodelle und Versagen mathematischer Schlussfolgerungen

Large Language Models and Mathematical Reasoning Failures

February 17, 2025

Autoren: Johan Boye, Birger Moell

cs.AI

Zusammenfassung

Dieses Paper untersucht die mathematischen Schlussfolgerungsfähigkeiten großer Sprachmodelle (LLMs) anhand von 50 neu konstruierten Wortproblemen auf Gymnasialniveau. Im Gegensatz zu früheren Studien, die sich ausschließlich auf die Richtigkeit der Antworten konzentrieren, analysieren wir sorgfältig sowohl die endgültigen Antworten als auch die Lösungsschritte, um Schlussfolgerungsfehler zu identifizieren. Bei der Bewertung von acht State-of-the-Art-Modellen - darunter Mixtral, Llama, Gemini, GPT-4o und OpenAI's o1-Varianten - stellen wir fest, dass neuere Modelle (z.B. o3-mini, deepseek-r1) zwar eine höhere Genauigkeit erreichen, aber alle Modelle Fehler in räumlichem Denken, strategischer Planung und Arithmetik aufweisen, manchmal korrekte Antworten durch fehlerhafte Logik produzieren. Häufige Fehlermodi umfassen unbegründete Annahmen, übermäßiges Vertrauen in numerische Muster und Schwierigkeiten bei der Umsetzung von physikalischem Verständnis in mathematische Schritte. Die manuelle Analyse zeigt, dass Modelle Probleme mit mehrstufigen Schlussfolgerungen oder Allgemeinwissen haben, obwohl sie über umfangreiche mathematische Kenntnisse verfügen. Unsere Ergebnisse unterstreichen die Bedeutung der Bewertung von Schlussfolgerungsprozessen, nicht nur von Antworten, und warnen davor, die Problemlösungsfähigkeiten von LLMs zu überschätzen. Die Studie verdeutlicht persistente Lücken in den Verallgemeinerungsfähigkeiten von LLMs und betont die Notwendigkeit gezielter Verbesserungen im strukturierten Denken und der Behandlung von Einschränkungen.

English

This paper investigates the mathematical reasoning capabilities of large language models (LLMs) using 50 newly constructed high-school-level word problems. Unlike prior studies that focus solely on answer correctness, we rigorously analyze both final answers and solution steps to identify reasoning failures. Evaluating eight state-of-the-art models - including Mixtral, Llama, Gemini, GPT-4o, and OpenAI's o1 variants - we find that while newer models (e.g., o3-mini, deepseek-r1) achieve higher accuracy, all models exhibit errors in spatial reasoning, strategic planning, and arithmetic, sometimes producing correct answers through flawed logic. Common failure modes include unwarranted assumptions, over-reliance on numerical patterns, and difficulty translating physical intuition into mathematical steps. Manual analysis reveals that models struggle with problems requiring multi-step deduction or real-world knowledge, despite possessing broad mathematical knowledge. Our results underscore the importance of evaluating reasoning processes, not just answers, and caution against overestimating LLMs' problem-solving proficiency. The study highlights persistent gaps in LLMs' generalization abilities, emphasizing the need for targeted improvements in structured reasoning and constraint handling.