ChatPaper.aiChatPaper

GPT peut résoudre des problèmes mathématiques sans calculatrice.

GPT Can Solve Mathematical Problems Without a Calculator

September 6, 2023
Auteurs: Zhen Yang, Ming Ding, Qingsong Lv, Zhihuan Jiang, Zehai He, Yuyi Guo, Jinfeng Bai, Jie Tang
cs.AI

Résumé

Les études précédentes ont généralement supposé que les grands modèles de langage étaient incapables d'effectuer avec précision des opérations arithmétiques, en particulier la multiplication de nombres à plus de 8 chiffres, ainsi que les opérations impliquant des nombres décimaux et des fractions, sans l'utilisation d'outils de calculatrice. Cet article vise à remettre en question cette idée reçue. Avec des données d'entraînement suffisantes, un modèle de langage de 2 milliards de paramètres peut effectuer avec précision des opérations arithmétiques multi-chiffres avec une exactitude proche de 100 %, sans fuite de données, surpassant ainsi significativement GPT-4 (dont la précision en multiplication multi-chiffres n'est que de 4,3 %). Nous démontrons également que notre modèle MathGLM, affiné à partir de GLM-10B sur un ensemble de données incluant des opérations arithmétiques multi-étapes et des problèmes mathématiques décrits en texte, atteint des performances similaires à celles de GPT-4 sur un ensemble de test de 5 000 échantillons de problèmes mathématiques en chinois.
English
Previous studies have typically assumed that large language models are unable to accurately perform arithmetic operations, particularly multiplication of >8 digits, and operations involving decimals and fractions, without the use of calculator tools. This paper aims to challenge this misconception. With sufficient training data, a 2 billion-parameter language model can accurately perform multi-digit arithmetic operations with almost 100% accuracy without data leakage, significantly surpassing GPT-4 (whose multi-digit multiplication accuracy is only 4.3%). We also demonstrate that our MathGLM, fine-tuned from GLM-10B on a dataset with additional multi-step arithmetic operations and math problems described in text, achieves similar performance to GPT-4 on a 5,000-samples Chinese math problem test set.
PDF189December 15, 2024