GPT는 계산기 없이도 수학 문제를 해결할 수 있다.
GPT Can Solve Mathematical Problems Without a Calculator
September 6, 2023
저자: Zhen Yang, Ming Ding, Qingsong Lv, Zhihuan Jiang, Zehai He, Yuyi Guo, Jinfeng Bai, Jie Tang
cs.AI
초록
기존 연구들은 대규모 언어 모델이 계산기 도구 없이는 정확한 산술 연산, 특히 8자리 이상의 곱셈 및 소수와 분수를 포함한 연산을 수행할 수 없다고 일반적으로 가정해 왔습니다. 본 논문은 이러한 오해에 도전하고자 합니다. 충분한 학습 데이터가 주어지면, 20억 개의 파라미터를 가진 언어 모델이 데이터 누출 없이도 거의 100%의 정확도로 다자리 산술 연산을 정확하게 수행할 수 있으며, 이는 GPT-4(다자리 곱셈 정확도가 단 4.3%)를 크게 능가합니다. 또한, 추가적인 다단계 산술 연산 및 텍스트로 기술된 수학 문제가 포함된 데이터셋으로 GLM-10B를 미세 조정한 우리의 MathGLM이 5,000개 샘플의 중국어 수학 문제 테스트 세트에서 GPT-4와 유사한 성능을 달성함을 보여줍니다.
English
Previous studies have typically assumed that large language models are unable
to accurately perform arithmetic operations, particularly multiplication of >8
digits, and operations involving decimals and fractions, without the use of
calculator tools. This paper aims to challenge this misconception. With
sufficient training data, a 2 billion-parameter language model can accurately
perform multi-digit arithmetic operations with almost 100% accuracy without
data leakage, significantly surpassing GPT-4 (whose multi-digit multiplication
accuracy is only 4.3%). We also demonstrate that our MathGLM, fine-tuned from
GLM-10B on a dataset with additional multi-step arithmetic operations and math
problems described in text, achieves similar performance to GPT-4 on a
5,000-samples Chinese math problem test set.