Влияние крупных языковых моделей на научные открытия: предварительное исследование с использованием GPT-4

The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4

November 13, 2023

Авторы: Microsoft Research AI4Science, Microsoft Azure Quantum

cs.AI

Аннотация

В последние годы революционные достижения в области обработки естественного языка привели к появлению мощных больших языковых моделей (LLM), которые продемонстрировали впечатляющие возможности в самых разных областях, включая понимание, генерацию и перевод естественного языка, а также задачи, выходящие за рамки языковой обработки. В данном отчете мы исследуем производительность LLM в контексте научных открытий, уделяя особое внимание GPT-4 — передовой языковой модели. Наше исследование охватывает широкий спектр научных областей, включая разработку лекарств, биологию, вычислительную химию (теорию функционала плотности (DFT) и молекулярную динамику (MD)), проектирование материалов и дифференциальные уравнения в частных производных (PDE). Оценка GPT-4 на научных задачах имеет ключевое значение для раскрытия ее потенциала в различных исследовательских областях, проверки ее экспертизы в конкретных дисциплинах, ускорения научного прогресса, оптимизации распределения ресурсов, направления будущей разработки моделей и стимулирования междисциплинарных исследований. Наша методология исследования в основном включает экспертные оценки кейсов, которые дают качественное представление о понимании моделью сложных научных концепций и взаимосвязей, а также тестирование на эталонных задачах, которое количественно оценивает способность модели решать четко определенные задачи в конкретных областях. Наши предварительные исследования показывают, что GPT-4 демонстрирует многообещающий потенциал для различных научных приложений, подтверждая ее способность справляться с задачами сложного решения проблем и интеграции знаний. В целом мы оцениваем базу знаний GPT-4, ее научное понимание, способности к научным численным расчетам и различные возможности научного прогнозирования.

English

In recent years, groundbreaking advancements in natural language processing have culminated in the emergence of powerful large language models (LLMs), which have showcased remarkable capabilities across a vast array of domains, including the understanding, generation, and translation of natural language, and even tasks that extend beyond language processing. In this report, we delve into the performance of LLMs within the context of scientific discovery, focusing on GPT-4, the state-of-the-art language model. Our investigation spans a diverse range of scientific areas encompassing drug discovery, biology, computational chemistry (density functional theory (DFT) and molecular dynamics (MD)), materials design, and partial differential equations (PDE). Evaluating GPT-4 on scientific tasks is crucial for uncovering its potential across various research domains, validating its domain-specific expertise, accelerating scientific progress, optimizing resource allocation, guiding future model development, and fostering interdisciplinary research. Our exploration methodology primarily consists of expert-driven case assessments, which offer qualitative insights into the model's comprehension of intricate scientific concepts and relationships, and occasionally benchmark testing, which quantitatively evaluates the model's capacity to solve well-defined domain-specific problems. Our preliminary exploration indicates that GPT-4 exhibits promising potential for a variety of scientific applications, demonstrating its aptitude for handling complex problem-solving and knowledge integration tasks. Broadly speaking, we evaluate GPT-4's knowledge base, scientific understanding, scientific numerical calculation abilities, and various scientific prediction capabilities.