CURIE: Avaliação de Modelos de Linguagem de Grande Escala em Compreensão e Raciocínio de Contexto Longo Multitarefa Científica

CURIE: Evaluating LLMs On Multitask Scientific Long Context Understanding and Reasoning

March 14, 2025

Autores: Hao Cui, Zahra Shamsi, Gowoon Cheon, Xuejian Ma, Shutong Li, Maria Tikhanovskaya, Peter Norgaard, Nayantara Mudur, Martyna Plomecka, Paul Raccuglia, Yasaman Bahri, Victor V. Albert, Pranesh Srinivasan, Haining Pan, Philippe Faist, Brian Rohr, Michael J. Statt, Dan Morris, Drew Purves, Elise Kleeman, Ruth Alcantara, Matthew Abraham, Muqthar Mohammad, Ean Phing VanLee, Chenfei Jiang, Elizabeth Dorfman, Eun-Ah Kim, Michael P Brenner, Viren Jain, Sameera Ponda, Subhashini Venugopalan

cs.AI

Resumo

A resolução de problemas científicos envolve a síntese de informações enquanto se aplica conhecimento especializado. Apresentamos o CURIE, um benchmark de Compreensão de Contexto Longo, Raciocínio e Extração de Informações Científicas, projetado para medir o potencial dos Modelos de Linguagem de Grande Escala (LLMs) na resolução de problemas científicos e na assistência a cientistas em fluxos de trabalho realistas. Este benchmark introduz dez tarefas desafiadoras, totalizando 580 pares de problemas e soluções curados por especialistas em seis disciplinas - ciência dos materiais, física da matéria condensada, computação quântica, análise geoespacial, biodiversidade e proteínas - abrangendo tanto fluxos de trabalho experimentais quanto teóricos na ciência. Avaliamos uma variedade de LLMs fechados e abertos em tarefas do CURIE, que exigem expertise de domínio, compreensão de informações contextuais longas e raciocínio em múltiplas etapas. Enquanto o Gemini Flash 2.0 e o Claude-3 demonstram uma compreensão consistentemente alta em diversos domínios, os populares GPT-4o e Command-R+ falham dramaticamente em tarefas de sequenciamento de proteínas. Com o melhor desempenho em 32%, há muito espaço para melhoria para todos os modelos. Esperamos que os insights obtidos com o CURIE possam orientar o desenvolvimento futuro dos LLMs nas ciências. O código e os dados de avaliação estão disponíveis em https://github.com/google/curie.

English

Scientific problem-solving involves synthesizing information while applying expert knowledge. We introduce CURIE, a scientific long-Context Understanding,Reasoning and Information Extraction benchmark to measure the potential of Large Language Models (LLMs) in scientific problem-solving and assisting scientists in realistic workflows. This benchmark introduces ten challenging tasks with a total of 580 problems and solution pairs curated by experts in six disciplines - materials science, condensed matter physics, quantum computing, geospatial analysis, biodiversity, and proteins - covering both experimental and theoretical work-flows in science. We evaluate a range of closed and open LLMs on tasks in CURIE which requires domain expertise, comprehension of long in-context information,and multi-step reasoning. While Gemini Flash 2.0 and Claude-3 show consistent high comprehension across domains, the popular GPT-4o and command-R+ fail dramatically on protein sequencing tasks. With the best performance at 32% there is much room for improvement for all models. We hope that insights gained from CURIE can guide the future development of LLMs in sciences. Evaluation code and data are in https://github.com/google/curie