CURIE: Оценка языковых моделей на многозадачном научном длинном контексте Понимание и рассуждение

CURIE: Evaluating LLMs On Multitask Scientific Long Context Understanding and Reasoning

March 14, 2025

Авторы: Hao Cui, Zahra Shamsi, Gowoon Cheon, Xuejian Ma, Shutong Li, Maria Tikhanovskaya, Peter Norgaard, Nayantara Mudur, Martyna Plomecka, Paul Raccuglia, Yasaman Bahri, Victor V. Albert, Pranesh Srinivasan, Haining Pan, Philippe Faist, Brian Rohr, Michael J. Statt, Dan Morris, Drew Purves, Elise Kleeman, Ruth Alcantara, Matthew Abraham, Muqthar Mohammad, Ean Phing VanLee, Chenfei Jiang, Elizabeth Dorfman, Eun-Ah Kim, Michael P Brenner, Viren Jain, Sameera Ponda, Subhashini Venugopalan

cs.AI

Аннотация

Научное решение задач предполагает синтез информации с применением экспертных знаний. Мы представляем CURIE — эталонный тест для оценки понимания длинных контекстов, рассуждений и извлечения информации в научной сфере, который измеряет потенциал крупных языковых моделей (LLM) в решении научных задач и помощи ученым в реалистичных рабочих процессах. Этот тест включает десять сложных заданий, состоящих из 580 пар задач и решений, отобранных экспертами в шести дисциплинах: материаловедение, физика конденсированных сред, квантовые вычисления, геопространственный анализ, биоразнообразие и белки, охватывая как экспериментальные, так и теоретические рабочие процессы в науке. Мы оцениваем ряд закрытых и открытых LLM на задачах CURIE, которые требуют экспертных знаний в предметной области, понимания длинных контекстов и многошаговых рассуждений. Хотя Gemini Flash 2.0 и Claude-3 демонстрируют стабильно высокое понимание в различных областях, популярные GPT-4o и Command-R+ показывают крайне низкие результаты в задачах, связанных с секвенированием белков. При лучшем результате в 32% все модели имеют значительный потенциал для улучшения. Мы надеемся, что выводы, полученные из CURIE, смогут направить будущее развитие LLM в науке. Код и данные для оценки доступны по адресу: https://github.com/google/curie.

English

Scientific problem-solving involves synthesizing information while applying expert knowledge. We introduce CURIE, a scientific long-Context Understanding,Reasoning and Information Extraction benchmark to measure the potential of Large Language Models (LLMs) in scientific problem-solving and assisting scientists in realistic workflows. This benchmark introduces ten challenging tasks with a total of 580 problems and solution pairs curated by experts in six disciplines - materials science, condensed matter physics, quantum computing, geospatial analysis, biodiversity, and proteins - covering both experimental and theoretical work-flows in science. We evaluate a range of closed and open LLMs on tasks in CURIE which requires domain expertise, comprehension of long in-context information,and multi-step reasoning. While Gemini Flash 2.0 and Claude-3 show consistent high comprehension across domains, the popular GPT-4o and command-R+ fail dramatically on protein sequencing tasks. With the best performance at 32% there is much room for improvement for all models. We hope that insights gained from CURIE can guide the future development of LLMs in sciences. Evaluation code and data are in https://github.com/google/curie