GPT kan wiskundige problemen oplossen zonder rekenmachine.
GPT Can Solve Mathematical Problems Without a Calculator
September 6, 2023
Auteurs: Zhen Yang, Ming Ding, Qingsong Lv, Zhihuan Jiang, Zehai He, Yuyi Guo, Jinfeng Bai, Jie Tang
cs.AI
Samenvatting
Eerdere studies gingen er doorgaans van uit dat grote taalmodellen niet in staat zijn om rekenkundige bewerkingen nauwkeurig uit te voeren, met name vermenigvuldigingen van >8 cijfers, en bewerkingen met decimalen en breuken, zonder het gebruik van rekenmachines. Dit artikel heeft als doel deze misvatting aan te vechten. Met voldoende trainingsgegevens kan een taalmodel met 2 miljard parameters multidigitale rekenkundige bewerkingen met bijna 100% nauwkeurigheid uitvoeren zonder datatlek, wat aanzienlijk beter is dan GPT-4 (wiens nauwkeurigheid bij multidigitale vermenigvuldigingen slechts 4,3% is). We tonen ook aan dat onze MathGLM, afgestemd op GLM-10B met een dataset met aanvullende meerstaps rekenkundige bewerkingen en wiskundige problemen beschreven in tekst, vergelijkbare prestaties behaalt als GPT-4 op een testset van 5.000 Chinese wiskundige problemen.
English
Previous studies have typically assumed that large language models are unable
to accurately perform arithmetic operations, particularly multiplication of >8
digits, and operations involving decimals and fractions, without the use of
calculator tools. This paper aims to challenge this misconception. With
sufficient training data, a 2 billion-parameter language model can accurately
perform multi-digit arithmetic operations with almost 100% accuracy without
data leakage, significantly surpassing GPT-4 (whose multi-digit multiplication
accuracy is only 4.3%). We also demonstrate that our MathGLM, fine-tuned from
GLM-10B on a dataset with additional multi-step arithmetic operations and math
problems described in text, achieves similar performance to GPT-4 on a
5,000-samples Chinese math problem test set.