Grote Taalmodellen en Mislukkingen in Wiskundig Redeneren

Large Language Models and Mathematical Reasoning Failures

February 17, 2025

Auteurs: Johan Boye, Birger Moell

cs.AI

Samenvatting

Dit artikel onderzoekt de wiskundige redeneervaardigheden van grote taalmmodellen (LLMs) aan de hand van 50 nieuw geconstrueerde woordproblemen op middelbareschoolniveau. In tegenstelling tot eerdere studies die zich uitsluitend richten op de juistheid van antwoorden, analyseren wij zowel de eindantwoorden als de oplossingsstappen grondig om redeneerfouten te identificeren. Door acht state-of-the-art modellen te evalueren - waaronder Mixtral, Llama, Gemini, GPT-4o en OpenAI's o1-varianten - constateren we dat hoewel nieuwere modellen (bijv. o3-mini, deepseek-r1) een hogere nauwkeurigheid behalen, alle modellen fouten vertonen in ruimtelijk redeneren, strategische planning en rekenkunde, waarbij soms correcte antwoorden worden geproduceerd via gebrekkige logica. Veelvoorkomende foutmodi zijn onder meer ongegronde aannames, overmatige afhankelijkheid van numerieke patronen en moeite met het vertalen van fysieke intuïtie naar wiskundige stappen. Handmatige analyse toont aan dat modellen moeite hebben met problemen die multi-staps deductie of kennis van de echte wereld vereisen, ondanks hun brede wiskundige kennis. Onze resultaten benadrukken het belang van het evalueren van redeneerprocessen, niet alleen antwoorden, en waarschuwen tegen het overschatten van de probleemoplossende vaardigheden van LLMs. De studie belicht aanhoudende hiaten in de generalisatievermogens van LLMs en benadrukt de noodzaak van gerichte verbeteringen in gestructureerd redeneren en het omgaan met beperkingen.

English

This paper investigates the mathematical reasoning capabilities of large language models (LLMs) using 50 newly constructed high-school-level word problems. Unlike prior studies that focus solely on answer correctness, we rigorously analyze both final answers and solution steps to identify reasoning failures. Evaluating eight state-of-the-art models - including Mixtral, Llama, Gemini, GPT-4o, and OpenAI's o1 variants - we find that while newer models (e.g., o3-mini, deepseek-r1) achieve higher accuracy, all models exhibit errors in spatial reasoning, strategic planning, and arithmetic, sometimes producing correct answers through flawed logic. Common failure modes include unwarranted assumptions, over-reliance on numerical patterns, and difficulty translating physical intuition into mathematical steps. Manual analysis reveals that models struggle with problems requiring multi-step deduction or real-world knowledge, despite possessing broad mathematical knowledge. Our results underscore the importance of evaluating reasoning processes, not just answers, and caution against overestimating LLMs' problem-solving proficiency. The study highlights persistent gaps in LLMs' generalization abilities, emphasizing the need for targeted improvements in structured reasoning and constraint handling.