Der Einfluss großer Sprachmodelle auf die wissenschaftliche Entdeckung: Eine Vorstudie mit GPT-4

The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4

November 13, 2023

Autoren: Microsoft Research AI4Science, Microsoft Azure Quantum

cs.AI

Zusammenfassung

In den letzten Jahren haben bahnbrechende Fortschritte in der natürlichen Sprachverarbeitung zur Entstehung leistungsstarker großer Sprachmodelle (Large Language Models, LLMs) geführt, die bemerkenswerte Fähigkeiten in einer Vielzahl von Bereichen gezeigt haben, einschließlich des Verstehens, der Generierung und der Übersetzung natürlicher Sprache sowie sogar von Aufgaben, die über die Sprachverarbeitung hinausgehen. In diesem Bericht untersuchen wir die Leistung von LLMs im Kontext der wissenschaftlichen Entdeckung, mit einem Fokus auf GPT-4, dem modernsten Sprachmodell. Unsere Untersuchung umfasst eine breite Palette wissenschaftlicher Bereiche, darunter Wirkstoffentdeckung, Biologie, Computerchemie (Dichtefunktionaltheorie (DFT) und Molekulardynamik (MD)), Materialdesign und partielle Differentialgleichungen (PDE). Die Bewertung von GPT-4 in wissenschaftlichen Aufgaben ist entscheidend, um sein Potenzial in verschiedenen Forschungsdomänen aufzudecken, seine domänenspezifische Expertise zu validieren, den wissenschaftlichen Fortschritt zu beschleunigen, die Ressourcenallokation zu optimieren, die zukünftige Modellentwicklung zu leiten und interdisziplinäre Forschung zu fördern. Unsere Untersuchungsmethodik besteht hauptsächlich aus expertenbasierten Fallstudien, die qualitative Einblicke in das Verständnis des Modells für komplexe wissenschaftliche Konzepte und Zusammenhänge bieten, und gelegentlich aus Benchmark-Tests, die die Fähigkeit des Modells zur Lösung klar definierter domänenspezifischer Probleme quantitativ bewerten. Unsere vorläufige Untersuchung deutet darauf hin, dass GPT-4 vielversprechendes Potenzial für eine Vielzahl wissenschaftlicher Anwendungen zeigt und seine Eignung für die Bewältigung komplexer Problemlösungs- und Wissensintegrationsaufgaben unterstreicht. Im Großen und Ganzen bewerten wir die Wissensbasis von GPT-4, sein wissenschaftliches Verständnis, seine Fähigkeiten zur wissenschaftlichen numerischen Berechnung sowie verschiedene wissenschaftliche Vorhersagefähigkeiten.

English

In recent years, groundbreaking advancements in natural language processing have culminated in the emergence of powerful large language models (LLMs), which have showcased remarkable capabilities across a vast array of domains, including the understanding, generation, and translation of natural language, and even tasks that extend beyond language processing. In this report, we delve into the performance of LLMs within the context of scientific discovery, focusing on GPT-4, the state-of-the-art language model. Our investigation spans a diverse range of scientific areas encompassing drug discovery, biology, computational chemistry (density functional theory (DFT) and molecular dynamics (MD)), materials design, and partial differential equations (PDE). Evaluating GPT-4 on scientific tasks is crucial for uncovering its potential across various research domains, validating its domain-specific expertise, accelerating scientific progress, optimizing resource allocation, guiding future model development, and fostering interdisciplinary research. Our exploration methodology primarily consists of expert-driven case assessments, which offer qualitative insights into the model's comprehension of intricate scientific concepts and relationships, and occasionally benchmark testing, which quantitatively evaluates the model's capacity to solve well-defined domain-specific problems. Our preliminary exploration indicates that GPT-4 exhibits promising potential for a variety of scientific applications, demonstrating its aptitude for handling complex problem-solving and knowledge integration tasks. Broadly speaking, we evaluate GPT-4's knowledge base, scientific understanding, scientific numerical calculation abilities, and various scientific prediction capabilities.