Un'analisi Attenta delle Prestazioni dei Modelli Linguistici di Grandi Dimensioni nell'Aritmetica della Scuola Elementare
A Careful Examination of Large Language Model Performance on Grade School Arithmetic
May 1, 2024
Autori: Hugh Zhang, Jeff Da, Dean Lee, Vaughn Robinson, Catherine Wu, Will Song, Tiffany Zhao, Pranav Raja, Dylan Slack, Qin Lyu, Sean Hendryx, Russell Kaplan, Michele, Lunati, Summer Yue
cs.AI
Abstract
I modelli linguistici di grandi dimensioni (LLM) hanno ottenuto un successo impressionante in molti benchmark per il ragionamento matematico. Tuttavia, cresce la preoccupazione che parte di questa performance rifletta in realtà una contaminazione dei dataset, in cui dati molto simili alle domande del benchmark si infiltrano nei dati di addestramento, anziché una vera capacità di ragionamento. Per indagare rigorosamente questa affermazione, abbiamo commissionato Grade School Math 1000 (GSM1k). GSM1k è progettato per rispecchiare lo stile e la complessità del consolidato benchmark GSM8k, considerato lo standard di riferimento per misurare il ragionamento matematico di base. Ci assicuriamo che i due benchmark siano comparabili rispetto a metriche importanti come i tassi di risoluzione umana, il numero di passi nella soluzione, l'ampiezza delle risposte e altro ancora. Quando valutiamo i principali LLM open-source e closed-source su GSM1k, osserviamo cali di accuratezza fino al 13%, con diverse famiglie di modelli (ad esempio, Phi e Mistral) che mostrano evidenze di overfitting sistematico in quasi tutte le dimensioni del modello. Allo stesso tempo, molti modelli, specialmente quelli all'avanguardia (ad esempio, Gemini/GPT/Claude), mostrano segni minimi di overfitting. Un'ulteriore analisi suggerisce una relazione positiva (r^2 di Spearman=0,32) tra la probabilità di un modello di generare un esempio da GSM8k e il divario di performance tra GSM8k e GSM1k, indicando che molti modelli potrebbero aver memorizzato parzialmente GSM8k.
English
Large language models (LLMs) have achieved impressive success on many
benchmarks for mathematical reasoning. However, there is growing concern that
some of this performance actually reflects dataset contamination, where data
closely resembling benchmark questions leaks into the training data, instead of
true reasoning ability. To investigate this claim rigorously, we commission
Grade School Math 1000 (GSM1k). GSM1k is designed to mirror the style and
complexity of the established GSM8k benchmark, the gold standard for measuring
elementary mathematical reasoning. We ensure that the two benchmarks are
comparable across important metrics such as human solve rates, number of steps
in solution, answer magnitude, and more. When evaluating leading open- and
closed-source LLMs on GSM1k, we observe accuracy drops of up to 13%, with
several families of models (e.g., Phi and Mistral) showing evidence of
systematic overfitting across almost all model sizes. At the same time, many
models, especially those on the frontier, (e.g., Gemini/GPT/Claude) show
minimal signs of overfitting. Further analysis suggests a positive relationship
(Spearman's r^2=0.32) between a model's probability of generating an example
from GSM8k and its performance gap between GSM8k and GSM1k, suggesting that
many models may have partially memorized GSM8k.