O Impacto dos Modelos de Linguagem de Grande Escala na Descoberta Científica: Um Estudo Preliminar Utilizando o GPT-4

The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4

November 13, 2023

Autores: Microsoft Research AI4Science, Microsoft Azure Quantum

cs.AI

Resumo

Nos últimos anos, avanços revolucionários no processamento de linguagem natural culminaram no surgimento de poderosos modelos de linguagem de grande escala (LLMs), que demonstraram capacidades notáveis em uma vasta gama de domínios, incluindo a compreensão, geração e tradução de linguagem natural, e até mesmo tarefas que vão além do processamento de linguagem. Neste relatório, exploramos o desempenho dos LLMs no contexto da descoberta científica, com foco no GPT-4, o modelo de linguagem mais avançado atualmente. Nossa investigação abrange uma diversidade de áreas científicas, incluindo descoberta de fármacos, biologia, química computacional (teoria do funcional da densidade (DFT) e dinâmica molecular (MD)), design de materiais e equações diferenciais parciais (PDE). Avaliar o GPT-4 em tarefas científicas é crucial para revelar seu potencial em diversos domínios de pesquisa, validar sua expertise específica em áreas científicas, acelerar o progresso científico, otimizar a alocação de recursos, orientar o desenvolvimento futuro de modelos e promover pesquisas interdisciplinares. Nossa metodologia de exploração consiste principalmente em avaliações de casos conduzidas por especialistas, que oferecem insights qualitativos sobre a compreensão do modelo de conceitos e relações científicas complexas, e ocasionalmente em testes de benchmark, que avaliam quantitativamente a capacidade do modelo de resolver problemas bem definidos em domínios específicos. Nossa exploração preliminar indica que o GPT-4 exibe um potencial promissor para uma variedade de aplicações científicas, demonstrando sua aptidão para lidar com tarefas complexas de resolução de problemas e integração de conhecimento. De modo geral, avaliamos a base de conhecimento do GPT-4, sua compreensão científica, habilidades de cálculo numérico científico e diversas capacidades de previsão científica.

English

In recent years, groundbreaking advancements in natural language processing have culminated in the emergence of powerful large language models (LLMs), which have showcased remarkable capabilities across a vast array of domains, including the understanding, generation, and translation of natural language, and even tasks that extend beyond language processing. In this report, we delve into the performance of LLMs within the context of scientific discovery, focusing on GPT-4, the state-of-the-art language model. Our investigation spans a diverse range of scientific areas encompassing drug discovery, biology, computational chemistry (density functional theory (DFT) and molecular dynamics (MD)), materials design, and partial differential equations (PDE). Evaluating GPT-4 on scientific tasks is crucial for uncovering its potential across various research domains, validating its domain-specific expertise, accelerating scientific progress, optimizing resource allocation, guiding future model development, and fostering interdisciplinary research. Our exploration methodology primarily consists of expert-driven case assessments, which offer qualitative insights into the model's comprehension of intricate scientific concepts and relationships, and occasionally benchmark testing, which quantitatively evaluates the model's capacity to solve well-defined domain-specific problems. Our preliminary exploration indicates that GPT-4 exhibits promising potential for a variety of scientific applications, demonstrating its aptitude for handling complex problem-solving and knowledge integration tasks. Broadly speaking, we evaluate GPT-4's knowledge base, scientific understanding, scientific numerical calculation abilities, and various scientific prediction capabilities.