Non tutti i ragionatori LLM sono creati uguali.
Not All LLM Reasoners Are Created Equal
October 2, 2024
Autori: Arian Hosseini, Alessandro Sordoni, Daniel Toyama, Aaron Courville, Rishabh Agarwal
cs.AI
Abstract
Studiamo la profondità delle capacità di risoluzione dei problemi di matematica di scuola elementare (GSM) dei LLM. A questo scopo, valutiamo le loro prestazioni su coppie di problemi di matematica esistenti in modo che la risposta al secondo problema dipenda dalla corretta risposta al primo problema. Le nostre scoperte rivelano un significativo divario di ragionamento nella maggior parte dei LLM, ossia una differenza di prestazioni tra la risoluzione delle coppie compositive e la risoluzione di ciascuna domanda indipendentemente. Questo divario è più evidente nei modelli più piccoli, più efficienti dal punto di vista dei costi e specializzati in matematica. Inoltre, le ricette di taratura dell'istruzione e la generazione di codice hanno effetti variabili tra le dimensioni dei LLM, mentre il raffinamento su GSM può portare al sovradattamento al compito. La nostra analisi indica che i grandi divari di ragionamento non sono dovuti a perdite nel set di test, ma a distrazioni da contesti aggiuntivi e a un povero ragionamento di secondo livello. Complessivamente, i LLM mostrano differenze sistematiche nelle loro capacità di ragionamento, nonostante le loro prestazioni su benchmark standard.
English
We study the depth of grade-school math (GSM) problem-solving capabilities of
LLMs. To this end, we evaluate their performance on pairs of existing math word
problems together so that the answer to the second problem depends on correctly
answering the first problem. Our findings reveal a significant reasoning gap in
most LLMs, that is performance difference between solving the compositional
pairs and solving each question independently. This gap is more pronounced in
smaller, more cost-efficient, and math-specialized models. Moreover,
instruction-tuning recipes and code generation have varying effects across LLM
sizes, while finetuning on GSM can lead to task overfitting. Our analysis
indicates that large reasoning gaps are not because of test-set leakage, but
due to distraction from additional context and poor second-hop reasoning.
Overall, LLMs exhibit systematic differences in their reasoning abilities,
despite what their performance on standard benchmarks indicates.