GSM-Symbolisch: Begrip van de Beperkingen van Wiskundige Redenering in Grote Taalmodellen

GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models

October 7, 2024

Auteurs: Iman Mirzadeh, Keivan Alizadeh, Hooman Shahrokhi, Oncel Tuzel, Samy Bengio, Mehrdad Farajtabar

cs.AI

Samenvatting

Recente ontwikkelingen in Grote Taalmodellen (LLMs) hebben interesse gewekt in hun formele redeneervermogen, met name op het gebied van wiskunde. De GSM8K benchmark wordt veel gebruikt om de wiskundige redenering van modellen te beoordelen aan de hand van vragen op basisschoolniveau. Hoewel de prestaties van LLMs op GSM8K de afgelopen jaren aanzienlijk zijn verbeterd, is het nog steeds onduidelijk of hun wiskundige redeneervermogen daadwerkelijk is gevorderd, wat vragen oproept over de betrouwbaarheid van de gerapporteerde metingen. Om deze zorgen aan te pakken, voeren we een grootschalige studie uit naar verschillende toonaangevende open en gesloten modellen. Om de beperkingen van bestaande evaluaties te overwinnen, introduceren we GSM-Symbolic, een verbeterde benchmark gecreëerd uit symbolische sjablonen die het genereren van een gevarieerde reeks vragen mogelijk maken. GSM-Symbolic maakt meer controleerbare evaluaties mogelijk, biedt belangrijke inzichten en betrouwbaardere metingen voor het meten van de redeneervermogens van modellen. Onze bevindingen tonen aan dat LLMs merkbare variatie vertonen bij het beantwoorden van verschillende instanties van dezelfde vraag. Specifiek daalt de prestatie van alle modellen wanneer alleen de numerieke waarden in de vraag worden gewijzigd in de GSM-Symbolic benchmark. Bovendien onderzoeken we de kwetsbaarheid van wiskundige redenering in deze modellen en tonen aan dat hun prestaties aanzienlijk verslechteren naarmate het aantal clausules in een vraag toeneemt. We veronderstellen dat deze afname komt doordat huidige LLMs geen echte logische redenering kunnen uitvoeren; ze repliceren redeneerstappen uit hun trainingsgegevens. Het toevoegen van een enkele clausule die relevant lijkt voor de vraag veroorzaakt aanzienlijke prestatiedalingen (tot 65%) bij alle toonaangevende modellen, zelfs als de clausule niet bijdraagt aan de redeneerketen die nodig is voor het uiteindelijke antwoord. Over het geheel genomen biedt ons werk een meer genuanceerd begrip van de mogelijkheden en beperkingen van LLMs op het gebied van wiskundige redenering.

English

Recent advancements in Large Language Models (LLMs) have sparked interest in their formal reasoning capabilities, particularly in mathematics. The GSM8K benchmark is widely used to assess the mathematical reasoning of models on grade-school-level questions. While the performance of LLMs on GSM8K has significantly improved in recent years, it remains unclear whether their mathematical reasoning capabilities have genuinely advanced, raising questions about the reliability of the reported metrics. To address these concerns, we conduct a large-scale study on several SOTA open and closed models. To overcome the limitations of existing evaluations, we introduce GSM-Symbolic, an improved benchmark created from symbolic templates that allow for the generation of a diverse set of questions. GSM-Symbolic enables more controllable evaluations, providing key insights and more reliable metrics for measuring the reasoning capabilities of models.Our findings reveal that LLMs exhibit noticeable variance when responding to different instantiations of the same question. Specifically, the performance of all models declines when only the numerical values in the question are altered in the GSM-Symbolic benchmark. Furthermore, we investigate the fragility of mathematical reasoning in these models and show that their performance significantly deteriorates as the number of clauses in a question increases. We hypothesize that this decline is because current LLMs cannot perform genuine logical reasoning; they replicate reasoning steps from their training data. Adding a single clause that seems relevant to the question causes significant performance drops (up to 65%) across all state-of-the-art models, even though the clause doesn't contribute to the reasoning chain needed for the final answer. Overall, our work offers a more nuanced understanding of LLMs' capabilities and limitations in mathematical reasoning.