GPTは電卓なしで数学の問題を解くことができる
GPT Can Solve Mathematical Problems Without a Calculator
September 6, 2023
著者: Zhen Yang, Ming Ding, Qingsong Lv, Zhihuan Jiang, Zehai He, Yuyi Guo, Jinfeng Bai, Jie Tang
cs.AI
要旨
従来の研究では、大規模言語モデルは計算機ツールを使用せずに、特に8桁以上の乗算や小数・分数を含む演算を正確に実行できないと一般的に考えられてきました。本論文はこの誤解に挑戦することを目的としています。十分な訓練データがあれば、20億パラメータの言語モデルはデータ漏洩なしにほぼ100%の精度で多桁の算術演算を正確に実行でき、GPT-4（その多桁乗算の精度はわずか4.3%）を大幅に上回ります。また、GLM-10Bを微調整したMathGLMが、追加の多段階算術演算やテキストで記述された数学問題を含むデータセットで訓練され、5,000サンプルの中国語数学問題テストセットにおいてGPT-4と同等の性能を達成することを示します。
English
Previous studies have typically assumed that large language models are unable
to accurately perform arithmetic operations, particularly multiplication of >8
digits, and operations involving decimals and fractions, without the use of
calculator tools. This paper aims to challenge this misconception. With
sufficient training data, a 2 billion-parameter language model can accurately
perform multi-digit arithmetic operations with almost 100% accuracy without
data leakage, significantly surpassing GPT-4 (whose multi-digit multiplication
accuracy is only 4.3%). We also demonstrate that our MathGLM, fine-tuned from
GLM-10B on a dataset with additional multi-step arithmetic operations and math
problems described in text, achieves similar performance to GPT-4 on a
5,000-samples Chinese math problem test set.