Modelos de Linguagem de Grande Escala para Matemáticos
Large Language Models for Mathematicians
December 7, 2023
Autores: Simon Frieder, Julius Berner, Philipp Petersen, Thomas Lukasiewicz
cs.AI
Resumo
Modelos de linguagem de grande escala (LLMs), como o ChatGPT, têm recebido enorme interesse devido à sua capacidade de compreensão linguística de propósito geral e, em particular, à sua habilidade de gerar texto ou código de computador de alta qualidade. Para muitas profissões, os LLMs representam uma ferramenta inestimável que pode acelerar e melhorar a qualidade do trabalho. Nesta nota, discutimos até que ponto eles podem auxiliar matemáticos profissionais. Primeiro, fornecemos uma descrição matemática do modelo de transformador utilizado em todos os modelos de linguagem modernos. Com base em estudos recentes, delineamos as melhores práticas e potenciais problemas e relatamos as habilidades matemáticas dos modelos de linguagem. Por fim, esclarecemos o potencial dos LLMs para mudar a forma como os matemáticos trabalham.
English
Large language models (LLMs) such as ChatGPT have received immense interest
for their general-purpose language understanding and, in particular, their
ability to generate high-quality text or computer code. For many professions,
LLMs represent an invaluable tool that can speed up and improve the quality of
work. In this note, we discuss to what extent they can aid professional
mathematicians. We first provide a mathematical description of the transformer
model used in all modern language models. Based on recent studies, we then
outline best practices and potential issues and report on the mathematical
abilities of language models. Finally, we shed light on the potential of LMMs
to change how mathematicians work.