El impacto de los modelos de lenguaje de gran escala en el descubrimiento científico: un estudio preliminar utilizando GPT-4

The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4

November 13, 2023

Autores: Microsoft Research AI4Science, Microsoft Azure Quantum

cs.AI

Resumen

En los últimos años, avances revolucionarios en el procesamiento del lenguaje natural han culminado en la aparición de potentes modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés), los cuales han demostrado capacidades notables en una amplia gama de dominios, incluyendo la comprensión, generación y traducción del lenguaje natural, e incluso tareas que van más allá del procesamiento del lenguaje. En este informe, profundizamos en el desempeño de los LLMs en el contexto del descubrimiento científico, centrándonos en GPT-4, el modelo de lenguaje más avanzado hasta la fecha. Nuestra investigación abarca una diversidad de áreas científicas que incluyen el descubrimiento de fármacos, la biología, la química computacional (teoría del funcional de la densidad (DFT) y dinámica molecular (MD)), el diseño de materiales y las ecuaciones diferenciales parciales (PDE). Evaluar GPT-4 en tareas científicas es crucial para descubrir su potencial en diversos dominios de investigación, validar su experiencia específica en cada campo, acelerar el progreso científico, optimizar la asignación de recursos, guiar el desarrollo futuro de modelos y fomentar la investigación interdisciplinaria. Nuestra metodología de exploración consiste principalmente en evaluaciones de casos dirigidas por expertos, que ofrecen perspectivas cualitativas sobre la comprensión del modelo de conceptos y relaciones científicas complejas, y ocasionalmente pruebas de referencia, que evalúan cuantitativamente la capacidad del modelo para resolver problemas bien definidos en dominios específicos. Nuestra exploración preliminar indica que GPT-4 muestra un potencial prometedor para una variedad de aplicaciones científicas, demostrando su aptitud para manejar tareas complejas de resolución de problemas e integración de conocimientos. En términos generales, evaluamos la base de conocimientos de GPT-4, su comprensión científica, sus habilidades de cálculo numérico científico y sus diversas capacidades de predicción científica.

English

In recent years, groundbreaking advancements in natural language processing have culminated in the emergence of powerful large language models (LLMs), which have showcased remarkable capabilities across a vast array of domains, including the understanding, generation, and translation of natural language, and even tasks that extend beyond language processing. In this report, we delve into the performance of LLMs within the context of scientific discovery, focusing on GPT-4, the state-of-the-art language model. Our investigation spans a diverse range of scientific areas encompassing drug discovery, biology, computational chemistry (density functional theory (DFT) and molecular dynamics (MD)), materials design, and partial differential equations (PDE). Evaluating GPT-4 on scientific tasks is crucial for uncovering its potential across various research domains, validating its domain-specific expertise, accelerating scientific progress, optimizing resource allocation, guiding future model development, and fostering interdisciplinary research. Our exploration methodology primarily consists of expert-driven case assessments, which offer qualitative insights into the model's comprehension of intricate scientific concepts and relationships, and occasionally benchmark testing, which quantitatively evaluates the model's capacity to solve well-defined domain-specific problems. Our preliminary exploration indicates that GPT-4 exhibits promising potential for a variety of scientific applications, demonstrating its aptitude for handling complex problem-solving and knowledge integration tasks. Broadly speaking, we evaluate GPT-4's knowledge base, scientific understanding, scientific numerical calculation abilities, and various scientific prediction capabilities.