Un Análisis Detallado del Desempeño de Modelos de Lenguaje a Gran Escala en Aritmética de Escuela Primaria

A Careful Examination of Large Language Model Performance on Grade School Arithmetic

May 1, 2024

Autores: Hugh Zhang, Jeff Da, Dean Lee, Vaughn Robinson, Catherine Wu, Will Song, Tiffany Zhao, Pranav Raja, Dylan Slack, Qin Lyu, Sean Hendryx, Russell Kaplan, Michele, Lunati, Summer Yue

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han logrado un éxito impresionante en muchos puntos de referencia para el razonamiento matemático. Sin embargo, existe una creciente preocupación de que parte de este rendimiento refleje en realidad contaminación de datos, donde información que se asemeja estrechamente a las preguntas de los benchmarks se filtra en los datos de entrenamiento, en lugar de una verdadera capacidad de razonamiento. Para investigar esta afirmación de manera rigurosa, hemos creado Grade School Math 1000 (GSM1k). GSM1k está diseñado para reflejar el estilo y la complejidad del benchmark establecido GSM8k, considerado el estándar de oro para medir el razonamiento matemático elemental. Nos aseguramos de que ambos benchmarks sean comparables en métricas importantes, como las tasas de resolución humana, el número de pasos en la solución, la magnitud de las respuestas y más. Al evaluar los principales LLMs de código abierto y cerrado en GSM1k, observamos caídas en la precisión de hasta un 13%, con varias familias de modelos (por ejemplo, Phi y Mistral) mostrando evidencia de sobreajuste sistemático en casi todos los tamaños de modelo. Al mismo tiempo, muchos modelos, especialmente aquellos en la frontera (por ejemplo, Gemini/GPT/Claude), muestran signos mínimos de sobreajuste. Un análisis adicional sugiere una relación positiva (r^2 de Spearman = 0.32) entre la probabilidad de que un modelo genere un ejemplo de GSM8k y su brecha de rendimiento entre GSM8k y GSM1k, lo que indica que muchos modelos podrían haber memorizado parcialmente GSM8k.

English

Large language models (LLMs) have achieved impressive success on many benchmarks for mathematical reasoning. However, there is growing concern that some of this performance actually reflects dataset contamination, where data closely resembling benchmark questions leaks into the training data, instead of true reasoning ability. To investigate this claim rigorously, we commission Grade School Math 1000 (GSM1k). GSM1k is designed to mirror the style and complexity of the established GSM8k benchmark, the gold standard for measuring elementary mathematical reasoning. We ensure that the two benchmarks are comparable across important metrics such as human solve rates, number of steps in solution, answer magnitude, and more. When evaluating leading open- and closed-source LLMs on GSM1k, we observe accuracy drops of up to 13%, with several families of models (e.g., Phi and Mistral) showing evidence of systematic overfitting across almost all model sizes. At the same time, many models, especially those on the frontier, (e.g., Gemini/GPT/Claude) show minimal signs of overfitting. Further analysis suggests a positive relationship (Spearman's r^2=0.32) between a model's probability of generating an example from GSM8k and its performance gap between GSM8k and GSM1k, suggesting that many models may have partially memorized GSM8k.