CURIE: Evaluación de Modelos de Lenguaje en Comprensión y Razonamiento de Contextos Largos Multitarea en el Ámbito Científico

CURIE: Evaluating LLMs On Multitask Scientific Long Context Understanding and Reasoning

March 14, 2025

Autores: Hao Cui, Zahra Shamsi, Gowoon Cheon, Xuejian Ma, Shutong Li, Maria Tikhanovskaya, Peter Norgaard, Nayantara Mudur, Martyna Plomecka, Paul Raccuglia, Yasaman Bahri, Victor V. Albert, Pranesh Srinivasan, Haining Pan, Philippe Faist, Brian Rohr, Michael J. Statt, Dan Morris, Drew Purves, Elise Kleeman, Ruth Alcantara, Matthew Abraham, Muqthar Mohammad, Ean Phing VanLee, Chenfei Jiang, Elizabeth Dorfman, Eun-Ah Kim, Michael P Brenner, Viren Jain, Sameera Ponda, Subhashini Venugopalan

cs.AI

Resumen

La resolución de problemas científicos implica sintetizar información mientras se aplica conocimiento experto. Presentamos CURIE, un punto de referencia para la Comprensión de Contextos Largos, Razonamiento y Extracción de Información científica, diseñado para medir el potencial de los Modelos de Lenguaje de Gran Escala (LLMs) en la resolución de problemas científicos y en la asistencia a científicos en flujos de trabajo realistas. Este punto de referencia introduce diez tareas desafiantes con un total de 580 pares de problemas y soluciones, curados por expertos en seis disciplinas: ciencia de materiales, física de la materia condensada, computación cuántica, análisis geoespacial, biodiversidad y proteínas, cubriendo tanto flujos de trabajo experimentales como teóricos en la ciencia. Evaluamos una variedad de LLMs cerrados y abiertos en las tareas de CURIE, que requieren experiencia en el dominio, comprensión de información contextual larga y razonamiento de múltiples pasos. Mientras que Gemini Flash 2.0 y Claude-3 muestran una comprensión consistentemente alta en todos los dominios, los populares GPT-4o y command-R+ fallan dramáticamente en las tareas de secuenciación de proteínas. Con el mejor rendimiento en un 32%, hay mucho espacio para la mejora en todos los modelos. Esperamos que las ideas obtenidas de CURIE puedan guiar el desarrollo futuro de los LLMs en las ciencias. El código y los datos de evaluación están disponibles en https://github.com/google/curie.

English

Scientific problem-solving involves synthesizing information while applying expert knowledge. We introduce CURIE, a scientific long-Context Understanding,Reasoning and Information Extraction benchmark to measure the potential of Large Language Models (LLMs) in scientific problem-solving and assisting scientists in realistic workflows. This benchmark introduces ten challenging tasks with a total of 580 problems and solution pairs curated by experts in six disciplines - materials science, condensed matter physics, quantum computing, geospatial analysis, biodiversity, and proteins - covering both experimental and theoretical work-flows in science. We evaluate a range of closed and open LLMs on tasks in CURIE which requires domain expertise, comprehension of long in-context information,and multi-step reasoning. While Gemini Flash 2.0 and Claude-3 show consistent high comprehension across domains, the popular GPT-4o and command-R+ fail dramatically on protein sequencing tasks. With the best performance at 32% there is much room for improvement for all models. We hope that insights gained from CURIE can guide the future development of LLMs in sciences. Evaluation code and data are in https://github.com/google/curie