GPT può risolvere problemi matematici senza calcolatrice
GPT Can Solve Mathematical Problems Without a Calculator
September 6, 2023
Autori: Zhen Yang, Ming Ding, Qingsong Lv, Zhihuan Jiang, Zehai He, Yuyi Guo, Jinfeng Bai, Jie Tang
cs.AI
Abstract
Gli studi precedenti hanno generalmente assunto che i grandi modelli linguistici non siano in grado di eseguire con precisione operazioni aritmetiche, in particolare la moltiplicazione di numeri con più di 8 cifre, e operazioni che coinvolgono decimali e frazioni, senza l'uso di strumenti di calcolo. Questo articolo si propone di sfidare questa convinzione errata. Con dati di addestramento sufficienti, un modello linguistico da 2 miliardi di parametri può eseguire con precisione operazioni aritmetiche multi-cifra con un'accuratezza quasi del 100% senza perdita di dati, superando significativamente GPT-4 (la cui accuratezza nella moltiplicazione multi-cifra è solo del 4,3%). Dimostriamo inoltre che il nostro MathGLM, messo a punto a partire da GLM-10B su un dataset con ulteriori operazioni aritmetiche multi-step e problemi matematici descritti in testo, raggiunge prestazioni simili a GPT-4 su un set di test di 5.000 campioni di problemi matematici in cinese.
English
Previous studies have typically assumed that large language models are unable
to accurately perform arithmetic operations, particularly multiplication of >8
digits, and operations involving decimals and fractions, without the use of
calculator tools. This paper aims to challenge this misconception. With
sufficient training data, a 2 billion-parameter language model can accurately
perform multi-digit arithmetic operations with almost 100% accuracy without
data leakage, significantly surpassing GPT-4 (whose multi-digit multiplication
accuracy is only 4.3%). We also demonstrate that our MathGLM, fine-tuned from
GLM-10B on a dataset with additional multi-step arithmetic operations and math
problems described in text, achieves similar performance to GPT-4 on a
5,000-samples Chinese math problem test set.