Тщательное исследование производительности крупных языковых моделей на задачах арифметики начальной школы
A Careful Examination of Large Language Model Performance on Grade School Arithmetic
May 1, 2024
Авторы: Hugh Zhang, Jeff Da, Dean Lee, Vaughn Robinson, Catherine Wu, Will Song, Tiffany Zhao, Pranav Raja, Dylan Slack, Qin Lyu, Sean Hendryx, Russell Kaplan, Michele, Lunati, Summer Yue
cs.AI
Аннотация
Большие языковые модели (LLM) достигли впечатляющих успехов на многих показателях для математического рассуждения. Однако возрастает обеспокоенность тем, что часть этой производительности фактически отражает загрязнение набора данных, когда данные, сильно напоминающие вопросы показателей, просачиваются в обучающие данные, вместо истинной способности к рассуждению. Для тщательного изучения этого утверждения мы заказываем Grade School Math 1000 (GSM1k). GSM1k разработан для отражения стиля и сложности установленного показателя GSM8k, золотого стандарта для измерения элементарного математического рассуждения. Мы гарантируем, что два показателя сравнимы по важным метрикам, таким как процент решения человеком, количество шагов в решении, величина ответа и другие. При оценке ведущих открытых и закрытых LLM на GSM1k мы наблюдаем снижение точности до 13%, причем у нескольких семейств моделей (например, Phi и Mistral) есть признаки систематического переобучения почти на всех размерах моделей. В то же время многие модели, особенно те, что на передовой позиции (например, Gemini/GPT/Claude), показывают минимальные признаки переобучения. Дальнейший анализ указывает на положительную связь (коэффициент корреляции Спирмена r^2=0,32) между вероятностью модели генерировать пример из GSM8k и разрывом в производительности между GSM8k и GSM1k, что говорит о том, что многие модели могут частично запоминать GSM8k.
English
Large language models (LLMs) have achieved impressive success on many
benchmarks for mathematical reasoning. However, there is growing concern that
some of this performance actually reflects dataset contamination, where data
closely resembling benchmark questions leaks into the training data, instead of
true reasoning ability. To investigate this claim rigorously, we commission
Grade School Math 1000 (GSM1k). GSM1k is designed to mirror the style and
complexity of the established GSM8k benchmark, the gold standard for measuring
elementary mathematical reasoning. We ensure that the two benchmarks are
comparable across important metrics such as human solve rates, number of steps
in solution, answer magnitude, and more. When evaluating leading open- and
closed-source LLMs on GSM1k, we observe accuracy drops of up to 13%, with
several families of models (e.g., Phi and Mistral) showing evidence of
systematic overfitting across almost all model sizes. At the same time, many
models, especially those on the frontier, (e.g., Gemini/GPT/Claude) show
minimal signs of overfitting. Further analysis suggests a positive relationship
(Spearman's r^2=0.32) between a model's probability of generating an example
from GSM8k and its performance gap between GSM8k and GSM1k, suggesting that
many models may have partially memorized GSM8k.