CURIE : Évaluation des LLM sur la compréhension et le raisonnement en contexte long multitâche scientifique

CURIE: Evaluating LLMs On Multitask Scientific Long Context Understanding and Reasoning

March 14, 2025

Auteurs: Hao Cui, Zahra Shamsi, Gowoon Cheon, Xuejian Ma, Shutong Li, Maria Tikhanovskaya, Peter Norgaard, Nayantara Mudur, Martyna Plomecka, Paul Raccuglia, Yasaman Bahri, Victor V. Albert, Pranesh Srinivasan, Haining Pan, Philippe Faist, Brian Rohr, Michael J. Statt, Dan Morris, Drew Purves, Elise Kleeman, Ruth Alcantara, Matthew Abraham, Muqthar Mohammad, Ean Phing VanLee, Chenfei Jiang, Elizabeth Dorfman, Eun-Ah Kim, Michael P Brenner, Viren Jain, Sameera Ponda, Subhashini Venugopalan

cs.AI

Résumé

La résolution de problèmes scientifiques implique la synthèse d'informations tout en appliquant des connaissances expertes. Nous présentons CURIE, un benchmark de Compréhension contextuelle longue, de Raisonnement et d'Extraction d'Informations scientifiques, conçu pour mesurer le potentiel des modèles de langage à grande échelle (LLMs) dans la résolution de problèmes scientifiques et l'assistance aux scientifiques dans des workflows réalistes. Ce benchmark introduit dix tâches complexes comprenant un total de 580 paires de problèmes et de solutions, élaborées par des experts dans six disciplines : la science des matériaux, la physique de la matière condensée, l'informatique quantique, l'analyse géospatiale, la biodiversité et les protéines - couvrant à la fois les workflows expérimentaux et théoriques en science. Nous évaluons une gamme de LLMs fermés et ouverts sur les tâches de CURIE, qui nécessitent une expertise domainale, la compréhension d'informations contextuelles longues et un raisonnement en plusieurs étapes. Alors que Gemini Flash 2.0 et Claude-3 montrent une compréhension élevée et constante à travers les domaines, les populaires GPT-4o et command-R+ échouent de manière spectaculaire sur les tâches de séquençage de protéines. Avec la meilleure performance à 32 %, il y a encore beaucoup de place pour l'amélioration de tous les modèles. Nous espérons que les insights tirés de CURIE pourront guider le développement futur des LLMs dans les sciences. Le code d'évaluation et les données sont disponibles sur https://github.com/google/curie.

English

Scientific problem-solving involves synthesizing information while applying expert knowledge. We introduce CURIE, a scientific long-Context Understanding,Reasoning and Information Extraction benchmark to measure the potential of Large Language Models (LLMs) in scientific problem-solving and assisting scientists in realistic workflows. This benchmark introduces ten challenging tasks with a total of 580 problems and solution pairs curated by experts in six disciplines - materials science, condensed matter physics, quantum computing, geospatial analysis, biodiversity, and proteins - covering both experimental and theoretical work-flows in science. We evaluate a range of closed and open LLMs on tasks in CURIE which requires domain expertise, comprehension of long in-context information,and multi-step reasoning. While Gemini Flash 2.0 and Claude-3 show consistent high comprehension across domains, the popular GPT-4o and command-R+ fail dramatically on protein sequencing tasks. With the best performance at 32% there is much room for improvement for all models. We hope that insights gained from CURIE can guide the future development of LLMs in sciences. Evaluation code and data are in https://github.com/google/curie