大規模言語モデルの小学校算数問題における性能の詳細な検証

A Careful Examination of Large Language Model Performance on Grade School Arithmetic

May 1, 2024

著者: Hugh Zhang, Jeff Da, Dean Lee, Vaughn Robinson, Catherine Wu, Will Song, Tiffany Zhao, Pranav Raja, Dylan Slack, Qin Lyu, Sean Hendryx, Russell Kaplan, Michele, Lunati, Summer Yue

cs.AI

要旨

大規模言語モデル（LLM）は、数学的推論の多くのベンチマークで印象的な成功を収めてきました。しかし、その性能の一部が実際にはデータセット汚染を反映しているのではないかという懸念が高まっています。データセット汚染とは、ベンチマーク問題に酷似したデータが訓練データに混入し、真の推論能力ではなくなっている状態を指します。この主張を厳密に調査するため、私たちはGrade School Math 1000（GSM1k）を作成しました。GSM1kは、初等数学的推論を測定するためのゴールドスタンダードである既存のGSM8kベンチマークのスタイルと複雑さを模倣するように設計されています。2つのベンチマークが、人間の解答率、解答ステップ数、答えの大きさなどの重要な指標において比較可能であることを確認しました。主要なオープンソースおよびクローズドソースのLLMをGSM1kで評価した結果、最大13%の精度低下が観察され、PhiやMistralなどのモデルファミリーでは、ほぼすべてのモデルサイズで系統的な過学習の証拠が示されました。一方で、特に最先端のモデル（Gemini/GPT/Claudeなど）では、過学習の兆候がほとんど見られませんでした。さらに分析を行った結果、モデルがGSM8kの例を生成する確率と、GSM8kとGSM1kの間の性能差との間に正の相関関係（Spearmanのr^2=0.32）があることが示唆され、多くのモデルがGSM8kを部分的に記憶している可能性が示されました。

English

Large language models (LLMs) have achieved impressive success on many benchmarks for mathematical reasoning. However, there is growing concern that some of this performance actually reflects dataset contamination, where data closely resembling benchmark questions leaks into the training data, instead of true reasoning ability. To investigate this claim rigorously, we commission Grade School Math 1000 (GSM1k). GSM1k is designed to mirror the style and complexity of the established GSM8k benchmark, the gold standard for measuring elementary mathematical reasoning. We ensure that the two benchmarks are comparable across important metrics such as human solve rates, number of steps in solution, answer magnitude, and more. When evaluating leading open- and closed-source LLMs on GSM1k, we observe accuracy drops of up to 13%, with several families of models (e.g., Phi and Mistral) showing evidence of systematic overfitting across almost all model sizes. At the same time, many models, especially those on the frontier, (e.g., Gemini/GPT/Claude) show minimal signs of overfitting. Further analysis suggests a positive relationship (Spearman's r^2=0.32) between a model's probability of generating an example from GSM8k and its performance gap between GSM8k and GSM1k, suggesting that many models may have partially memorized GSM8k.