Grands Modèles de Langage pour les Mathématiciens
Large Language Models for Mathematicians
December 7, 2023
Auteurs: Simon Frieder, Julius Berner, Philipp Petersen, Thomas Lukasiewicz
cs.AI
Résumé
Les grands modèles de langage (LLM) tels que ChatGPT ont suscité un immense intérêt pour leur compréhension générale du langage et, en particulier, leur capacité à générer du texte ou du code informatique de haute qualité. Pour de nombreuses professions, les LLM représentent un outil inestimable qui peut accélérer et améliorer la qualité du travail. Dans cette note, nous examinons dans quelle mesure ils peuvent aider les mathématiciens professionnels. Nous fournissons d'abord une description mathématique du modèle de transformateur utilisé dans tous les modèles de langage modernes. Sur la base d'études récentes, nous décrivons ensuite les meilleures pratiques et les problèmes potentiels, et rendons compte des capacités mathématiques des modèles de langage. Enfin, nous mettons en lumière le potentiel des LLM à transformer la manière dont les mathématiciens travaillent.
English
Large language models (LLMs) such as ChatGPT have received immense interest
for their general-purpose language understanding and, in particular, their
ability to generate high-quality text or computer code. For many professions,
LLMs represent an invaluable tool that can speed up and improve the quality of
work. In this note, we discuss to what extent they can aid professional
mathematicians. We first provide a mathematical description of the transformer
model used in all modern language models. Based on recent studies, we then
outline best practices and potential issues and report on the mathematical
abilities of language models. Finally, we shed light on the potential of LMMs
to change how mathematicians work.