L'impact des grands modèles de langage sur la découverte scientifique : une étude préliminaire utilisant GPT-4

The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4

November 13, 2023

Auteurs: Microsoft Research AI4Science, Microsoft Azure Quantum

cs.AI

Résumé

Ces dernières années, des avancées révolutionnaires dans le traitement du langage naturel ont conduit à l'émergence de modèles de langage de grande taille (LLMs) puissants, qui ont démontré des capacités remarquables dans un vaste éventail de domaines, notamment la compréhension, la génération et la traduction du langage naturel, ainsi que des tâches dépassant le cadre du traitement linguistique. Dans ce rapport, nous explorons les performances des LLMs dans le contexte de la découverte scientifique, en nous concentrant sur GPT-4, le modèle de langage le plus avancé à ce jour. Notre investigation couvre une diversité de domaines scientifiques, incluant la découverte de médicaments, la biologie, la chimie computationnelle (théorie de la fonctionnelle de la densité (DFT) et dynamique moléculaire (MD)), la conception de matériaux, et les équations aux dérivées partielles (PDE). Évaluer GPT-4 sur des tâches scientifiques est essentiel pour révéler son potentiel dans divers domaines de recherche, valider son expertise spécifique, accélérer le progrès scientifique, optimiser l'allocation des ressources, guider le développement futur des modèles, et favoriser la recherche interdisciplinaire. Notre méthodologie d'exploration repose principalement sur des évaluations de cas pilotées par des experts, qui offrent des insights qualitatifs sur la compréhension par le modèle de concepts et relations scientifiques complexes, et occasionnellement sur des tests de référence, qui évaluent quantitativement la capacité du modèle à résoudre des problèmes bien définis dans des domaines spécifiques. Notre exploration préliminaire indique que GPT-4 montre un potentiel prometteur pour diverses applications scientifiques, démontrant son aptitude à gérer des tâches complexes de résolution de problèmes et d'intégration de connaissances. De manière générale, nous évaluons la base de connaissances de GPT-4, sa compréhension scientifique, ses capacités de calcul numérique scientifique, et diverses capacités de prédiction scientifique.

English

In recent years, groundbreaking advancements in natural language processing have culminated in the emergence of powerful large language models (LLMs), which have showcased remarkable capabilities across a vast array of domains, including the understanding, generation, and translation of natural language, and even tasks that extend beyond language processing. In this report, we delve into the performance of LLMs within the context of scientific discovery, focusing on GPT-4, the state-of-the-art language model. Our investigation spans a diverse range of scientific areas encompassing drug discovery, biology, computational chemistry (density functional theory (DFT) and molecular dynamics (MD)), materials design, and partial differential equations (PDE). Evaluating GPT-4 on scientific tasks is crucial for uncovering its potential across various research domains, validating its domain-specific expertise, accelerating scientific progress, optimizing resource allocation, guiding future model development, and fostering interdisciplinary research. Our exploration methodology primarily consists of expert-driven case assessments, which offer qualitative insights into the model's comprehension of intricate scientific concepts and relationships, and occasionally benchmark testing, which quantitatively evaluates the model's capacity to solve well-defined domain-specific problems. Our preliminary exploration indicates that GPT-4 exhibits promising potential for a variety of scientific applications, demonstrating its aptitude for handling complex problem-solving and knowledge integration tasks. Broadly speaking, we evaluate GPT-4's knowledge base, scientific understanding, scientific numerical calculation abilities, and various scientific prediction capabilities.