O GPT pode resolver problemas matemáticos sem uma calculadora
GPT Can Solve Mathematical Problems Without a Calculator
September 6, 2023
Autores: Zhen Yang, Ming Ding, Qingsong Lv, Zhihuan Jiang, Zehai He, Yuyi Guo, Jinfeng Bai, Jie Tang
cs.AI
Resumo
Estudos anteriores geralmente assumiram que modelos de linguagem de grande escala são incapazes de realizar operações aritméticas com precisão, especialmente multiplicações com mais de 8 dígitos e operações envolvendo decimais e frações, sem o uso de ferramentas de calculadora. Este artigo tem como objetivo desafiar essa concepção equivocada. Com dados de treinamento suficientes, um modelo de linguagem com 2 bilhões de parâmetros pode realizar operações aritméticas com múltiplos dígitos com quase 100% de precisão sem vazamento de dados, superando significativamente o GPT-4 (cuja precisão em multiplicações com múltiplos dígitos é de apenas 4,3%). Também demonstramos que nosso MathGLM, ajustado a partir do GLM-10B em um conjunto de dados com operações aritméticas de múltiplos passos adicionais e problemas matemáticos descritos em texto, alcança desempenho semelhante ao GPT-4 em um conjunto de testes de 5.000 amostras de problemas matemáticos em chinês.
English
Previous studies have typically assumed that large language models are unable
to accurately perform arithmetic operations, particularly multiplication of >8
digits, and operations involving decimals and fractions, without the use of
calculator tools. This paper aims to challenge this misconception. With
sufficient training data, a 2 billion-parameter language model can accurately
perform multi-digit arithmetic operations with almost 100% accuracy without
data leakage, significantly surpassing GPT-4 (whose multi-digit multiplication
accuracy is only 4.3%). We also demonstrate that our MathGLM, fine-tuned from
GLM-10B on a dataset with additional multi-step arithmetic operations and math
problems described in text, achieves similar performance to GPT-4 on a
5,000-samples Chinese math problem test set.