GSM-Symbolic : Comprendre les Limitations du Raisonnement Mathématique dans les Grands Modèles de Langage

GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models

October 7, 2024

Auteurs: Iman Mirzadeh, Keivan Alizadeh, Hooman Shahrokhi, Oncel Tuzel, Samy Bengio, Mehrdad Farajtabar

cs.AI

Résumé

Les récentes avancées dans les Modèles de Langage de Grande Taille (LLM) ont suscité un intérêt pour leurs capacités de raisonnement formel, en particulier en mathématiques. Le banc d'essai GSM8K est largement utilisé pour évaluer le raisonnement mathématique des modèles sur des questions de niveau scolaire. Bien que les performances des LLM sur GSM8K se soient considérablement améliorées ces dernières années, il reste incertain que leurs capacités de raisonnement mathématique aient réellement progressé, soulevant des questions sur la fiabilité des métriques rapportées. Pour répondre à ces préoccupations, nous menons une étude à grande échelle sur plusieurs modèles ouverts et fermés de pointe. Pour surmonter les limites des évaluations existantes, nous introduisons GSM-Symbolic, un banc d'essai amélioré créé à partir de modèles symboliques qui permettent la génération d'un ensemble diversifié de questions. GSM-Symbolic permet des évaluations plus contrôlables, offrant des aperçus clés et des métriques plus fiables pour mesurer les capacités de raisonnement des modèles. Nos résultats révèlent que les LLM présentent une variance notable lorsqu'ils répondent à différentes instanciations de la même question. En particulier, les performances de tous les modèles diminuent lorsque seuls les valeurs numériques de la question sont modifiées dans le banc d'essai GSM-Symbolic. De plus, nous étudions la fragilité du raisonnement mathématique dans ces modèles et montrons que leurs performances se détériorent significativement à mesure que le nombre de clauses dans une question augmente. Nous émettons l'hypothèse que ce déclin est dû au fait que les LLM actuels ne peuvent pas effectuer de raisonnement logique authentique ; ils reproduisent les étapes de raisonnement de leurs données d'entraînement. L'ajout d'une seule clause qui semble pertinente à la question entraîne des baisses de performance significatives (jusqu'à 65 %) sur tous les modèles de pointe, même si la clause ne contribue pas à la chaîne de raisonnement nécessaire pour la réponse finale. Dans l'ensemble, notre travail offre une compréhension plus nuancée des capacités et des limites des LLM en matière de raisonnement mathématique.

English

Recent advancements in Large Language Models (LLMs) have sparked interest in their formal reasoning capabilities, particularly in mathematics. The GSM8K benchmark is widely used to assess the mathematical reasoning of models on grade-school-level questions. While the performance of LLMs on GSM8K has significantly improved in recent years, it remains unclear whether their mathematical reasoning capabilities have genuinely advanced, raising questions about the reliability of the reported metrics. To address these concerns, we conduct a large-scale study on several SOTA open and closed models. To overcome the limitations of existing evaluations, we introduce GSM-Symbolic, an improved benchmark created from symbolic templates that allow for the generation of a diverse set of questions. GSM-Symbolic enables more controllable evaluations, providing key insights and more reliable metrics for measuring the reasoning capabilities of models.Our findings reveal that LLMs exhibit noticeable variance when responding to different instantiations of the same question. Specifically, the performance of all models declines when only the numerical values in the question are altered in the GSM-Symbolic benchmark. Furthermore, we investigate the fragility of mathematical reasoning in these models and show that their performance significantly deteriorates as the number of clauses in a question increases. We hypothesize that this decline is because current LLMs cannot perform genuine logical reasoning; they replicate reasoning steps from their training data. Adding a single clause that seems relevant to the question causes significant performance drops (up to 65%) across all state-of-the-art models, even though the clause doesn't contribute to the reasoning chain needed for the final answer. Overall, our work offers a more nuanced understanding of LLMs' capabilities and limitations in mathematical reasoning.