GPT kann mathematische Probleme ohne Taschenrechner lösen.
GPT Can Solve Mathematical Problems Without a Calculator
September 6, 2023
Autoren: Zhen Yang, Ming Ding, Qingsong Lv, Zhihuan Jiang, Zehai He, Yuyi Guo, Jinfeng Bai, Jie Tang
cs.AI
Zusammenfassung
Frühere Studien gingen typischerweise davon aus, dass große Sprachmodelle nicht in der Lage sind, arithmetische Operationen, insbesondere die Multiplikation von Zahlen mit mehr als 8 Stellen, sowie Operationen mit Dezimalzahlen und Brüchen, ohne den Einsatz von Rechnerwerkzeugen präzise durchzuführen. Diese Arbeit zielt darauf ab, dieses Missverständnis zu widerlegen. Mit ausreichenden Trainingsdaten kann ein Sprachmodell mit 2 Milliarden Parametern mehrstellige arithmetische Operationen mit nahezu 100%iger Genauigkeit und ohne Datenlecks durchführen, was GPT-4 deutlich übertrifft (dessen Genauigkeit bei der mehrstelligen Multiplikation nur 4,3% beträgt). Wir zeigen außerdem, dass unser MathGLM, das aus GLM-10B auf einem Datensatz mit zusätzlichen mehrstufigen arithmetischen Operationen und mathematischen Problemen, die in Text beschrieben sind, feinabgestimmt wurde, auf einem Testset mit 5.000 chinesischen Mathematikproblemen eine ähnliche Leistung wie GPT-4 erzielt.
English
Previous studies have typically assumed that large language models are unable
to accurately perform arithmetic operations, particularly multiplication of >8
digits, and operations involving decimals and fractions, without the use of
calculator tools. This paper aims to challenge this misconception. With
sufficient training data, a 2 billion-parameter language model can accurately
perform multi-digit arithmetic operations with almost 100% accuracy without
data leakage, significantly surpassing GPT-4 (whose multi-digit multiplication
accuracy is only 4.3%). We also demonstrate that our MathGLM, fine-tuned from
GLM-10B on a dataset with additional multi-step arithmetic operations and math
problems described in text, achieves similar performance to GPT-4 on a
5,000-samples Chinese math problem test set.