GPT может решать математические задачи без использования калькулятора.
GPT Can Solve Mathematical Problems Without a Calculator
September 6, 2023
Авторы: Zhen Yang, Ming Ding, Qingsong Lv, Zhihuan Jiang, Zehai He, Yuyi Guo, Jinfeng Bai, Jie Tang
cs.AI
Аннотация
Предыдущие исследования обычно предполагали, что крупные языковые модели не способны точно выполнять арифметические операции, особенно умножение чисел с более чем 8 цифрами, а также операции с десятичными дробями и обыкновенными дробями без использования калькуляторных инструментов. Данная работа ставит целью опровергнуть это заблуждение. При наличии достаточного объема обучающих данных языковая модель с 2 миллиардами параметров может точно выполнять многозначные арифметические операции с почти 100% точностью без утечки данных, значительно превосходя GPT-4 (точность которой в многозначном умножении составляет всего 4,3%). Мы также демонстрируем, что наша модель MathGLM, дообученная на основе GLM-10B на наборе данных с дополнительными многошаговыми арифметическими операциями и математическими задачами, описанными в тексте, достигает аналогичной производительности с GPT-4 на тестовом наборе из 5000 китайских математических задач.
English
Previous studies have typically assumed that large language models are unable
to accurately perform arithmetic operations, particularly multiplication of >8
digits, and operations involving decimals and fractions, without the use of
calculator tools. This paper aims to challenge this misconception. With
sufficient training data, a 2 billion-parameter language model can accurately
perform multi-digit arithmetic operations with almost 100% accuracy without
data leakage, significantly surpassing GPT-4 (whose multi-digit multiplication
accuracy is only 4.3%). We also demonstrate that our MathGLM, fine-tuned from
GLM-10B on a dataset with additional multi-step arithmetic operations and math
problems described in text, achieves similar performance to GPT-4 on a
5,000-samples Chinese math problem test set.