GPT puede resolver problemas matemáticos sin necesidad de una calculadora.
GPT Can Solve Mathematical Problems Without a Calculator
September 6, 2023
Autores: Zhen Yang, Ming Ding, Qingsong Lv, Zhihuan Jiang, Zehai He, Yuyi Guo, Jinfeng Bai, Jie Tang
cs.AI
Resumen
Estudios previos generalmente han asumido que los modelos de lenguaje de gran escala no pueden realizar operaciones aritméticas con precisión, particularmente multiplicaciones de más de 8 dígitos y operaciones que involucran decimales y fracciones, sin el uso de herramientas de calculadora. Este artículo busca desafiar esta concepción errónea. Con datos de entrenamiento suficientes, un modelo de lenguaje de 2 mil millones de parámetros puede realizar operaciones aritméticas de múltiples dígitos con casi un 100% de precisión sin fugas de datos, superando significativamente a GPT-4 (cuya precisión en multiplicaciones de múltiples dígitos es solo del 4,3%). También demostramos que nuestro MathGLM, ajustado a partir de GLM-10B en un conjunto de datos con operaciones aritméticas de múltiples pasos adicionales y problemas matemáticos descritos en texto, logra un rendimiento similar al de GPT-4 en un conjunto de pruebas de 5,000 muestras de problemas matemáticos en chino.
English
Previous studies have typically assumed that large language models are unable
to accurately perform arithmetic operations, particularly multiplication of >8
digits, and operations involving decimals and fractions, without the use of
calculator tools. This paper aims to challenge this misconception. With
sufficient training data, a 2 billion-parameter language model can accurately
perform multi-digit arithmetic operations with almost 100% accuracy without
data leakage, significantly surpassing GPT-4 (whose multi-digit multiplication
accuracy is only 4.3%). We also demonstrate that our MathGLM, fine-tuned from
GLM-10B on a dataset with additional multi-step arithmetic operations and math
problems described in text, achieves similar performance to GPT-4 on a
5,000-samples Chinese math problem test set.