De impact van grote taalmodellen op wetenschappelijke ontdekkingen: een voorlopige studie met GPT-4

The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4

November 13, 2023

Auteurs: Microsoft Research AI4Science, Microsoft Azure Quantum

cs.AI

Samenvatting

De afgelopen jaren hebben baanbrekende vooruitgangen in natuurlijke taalverwerking geleid tot de opkomst van krachtige grote taalmodellen (LLM's), die opmerkelijke capaciteiten hebben getoond op een breed scala van domeinen, waaronder het begrijpen, genereren en vertalen van natuurlijke taal, en zelfs taken die verder gaan dan taalverwerking. In dit rapport verdiepen we ons in de prestaties van LLM's binnen de context van wetenschappelijke ontdekking, met een focus op GPT-4, het meest geavanceerde taalmodel. Ons onderzoek beslaat een diverse reeks wetenschappelijke gebieden, waaronder geneesmiddelenontdekking, biologie, computationele chemie (dichtheidsfunctionaaltheorie (DFT) en moleculaire dynamica (MD)), materiaalontwerp en partiële differentiaalvergelijkingen (PDE). Het evalueren van GPT-4 op wetenschappelijke taken is cruciaal om het potentieel ervan in verschillende onderzoeksdomeinen te onthullen, de domeinspecifieke expertise te valideren, wetenschappelijke vooruitgang te versnellen, resourceallocatie te optimaliseren, toekomstige modelontwikkeling te sturen en interdisciplinair onderzoek te bevorderen. Onze onderzoeksmethodologie bestaat voornamelijk uit expertgestuurde casestudies, die kwalitatieve inzichten bieden in het begrip van het model van complexe wetenschappelijke concepten en relaties, en af en toe benchmarktests, die het vermogen van het model om goed gedefinieerde domeinspecifieke problemen op te lossen kwantitatief evalueren. Onze voorlopige verkenning geeft aan dat GPT-4 veelbelovend potentieel vertoont voor een verscheidenheid aan wetenschappelijke toepassingen, waarbij het zijn vaardigheid toont in het omgaan met complexe probleemoplossing en kennisintegratietaken. In het algemeen evalueren we de kennisbasis van GPT-4, het wetenschappelijk begrip, de wetenschappelijke numerieke rekenvaardigheden en diverse wetenschappelijke voorspellingscapaciteiten.

English

In recent years, groundbreaking advancements in natural language processing have culminated in the emergence of powerful large language models (LLMs), which have showcased remarkable capabilities across a vast array of domains, including the understanding, generation, and translation of natural language, and even tasks that extend beyond language processing. In this report, we delve into the performance of LLMs within the context of scientific discovery, focusing on GPT-4, the state-of-the-art language model. Our investigation spans a diverse range of scientific areas encompassing drug discovery, biology, computational chemistry (density functional theory (DFT) and molecular dynamics (MD)), materials design, and partial differential equations (PDE). Evaluating GPT-4 on scientific tasks is crucial for uncovering its potential across various research domains, validating its domain-specific expertise, accelerating scientific progress, optimizing resource allocation, guiding future model development, and fostering interdisciplinary research. Our exploration methodology primarily consists of expert-driven case assessments, which offer qualitative insights into the model's comprehension of intricate scientific concepts and relationships, and occasionally benchmark testing, which quantitatively evaluates the model's capacity to solve well-defined domain-specific problems. Our preliminary exploration indicates that GPT-4 exhibits promising potential for a variety of scientific applications, demonstrating its aptitude for handling complex problem-solving and knowledge integration tasks. Broadly speaking, we evaluate GPT-4's knowledge base, scientific understanding, scientific numerical calculation abilities, and various scientific prediction capabilities.