GSM-Simbólico: Compreendendo as Limitações do Raciocínio Matemático em Grandes Modelos de Linguagem

GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models

October 7, 2024

Autores: Iman Mirzadeh, Keivan Alizadeh, Hooman Shahrokhi, Oncel Tuzel, Samy Bengio, Mehrdad Farajtabar

cs.AI

Resumo

Os avanços recentes em Modelos de Linguagem de Grande Escala (LLMs) despertaram interesse em suas capacidades formais de raciocínio, especialmente em matemática. O benchmark GSM8K é amplamente utilizado para avaliar o raciocínio matemático dos modelos em questões de nível escolar. Embora o desempenho dos LLMs no GSM8K tenha melhorado significativamente nos últimos anos, permanece incerto se suas capacidades de raciocínio matemático realmente avançaram, levantando dúvidas sobre a confiabilidade das métricas relatadas. Para abordar essas preocupações, realizamos um estudo em larga escala em vários modelos abertos e fechados de última geração. Para superar as limitações das avaliações existentes, introduzimos o GSM-Simbólico, um benchmark aprimorado criado a partir de modelos simbólicos que permitem a geração de um conjunto diversificado de questões. O GSM-Simbólico possibilita avaliações mais controláveis, fornecendo insights importantes e métricas mais confiáveis para medir as capacidades de raciocínio dos modelos. Nossas descobertas revelam que os LLMs apresentam uma variação notável ao responder a diferentes instantiações da mesma questão. Especificamente, o desempenho de todos os modelos diminui quando apenas os valores numéricos na questão são alterados no benchmark GSM-Simbólico. Além disso, investigamos a fragilidade do raciocínio matemático nesses modelos e mostramos que seu desempenho deteriora significativamente à medida que o número de cláusulas em uma questão aumenta. Hipotetizamos que esse declínio ocorre porque os LLMs atuais não conseguem realizar um raciocínio lógico genuíno; eles replicam etapas de raciocínio de seus dados de treinamento. Adicionar uma única cláusula que pareça relevante para a questão causa quedas significativas de desempenho (até 65%) em todos os modelos de última geração, mesmo que a cláusula não contribua para a cadeia de raciocínio necessária para a resposta final. No geral, nosso trabalho oferece uma compreensão mais sutil das capacidades e limitações dos LLMs no raciocínio matemático.

English

Recent advancements in Large Language Models (LLMs) have sparked interest in their formal reasoning capabilities, particularly in mathematics. The GSM8K benchmark is widely used to assess the mathematical reasoning of models on grade-school-level questions. While the performance of LLMs on GSM8K has significantly improved in recent years, it remains unclear whether their mathematical reasoning capabilities have genuinely advanced, raising questions about the reliability of the reported metrics. To address these concerns, we conduct a large-scale study on several SOTA open and closed models. To overcome the limitations of existing evaluations, we introduce GSM-Symbolic, an improved benchmark created from symbolic templates that allow for the generation of a diverse set of questions. GSM-Symbolic enables more controllable evaluations, providing key insights and more reliable metrics for measuring the reasoning capabilities of models.Our findings reveal that LLMs exhibit noticeable variance when responding to different instantiations of the same question. Specifically, the performance of all models declines when only the numerical values in the question are altered in the GSM-Symbolic benchmark. Furthermore, we investigate the fragility of mathematical reasoning in these models and show that their performance significantly deteriorates as the number of clauses in a question increases. We hypothesize that this decline is because current LLMs cannot perform genuine logical reasoning; they replicate reasoning steps from their training data. Adding a single clause that seems relevant to the question causes significant performance drops (up to 65%) across all state-of-the-art models, even though the clause doesn't contribute to the reasoning chain needed for the final answer. Overall, our work offers a more nuanced understanding of LLMs' capabilities and limitations in mathematical reasoning.