CURIE: マルチタスク科学長文脈におけるLLMの評価理解と推論

要旨

科学的な問題解決には、専門知識を応用しながら情報を統合することが含まれます。本論文では、大規模言語モデル（LLMs）の科学的問題解決能力と、現実的な科学ワークフローにおける科学者支援の可能性を測定するための科学的長文脈理解・推論・情報抽出ベンチマーク「CURIE」を紹介します。このベンチマークでは、材料科学、凝縮系物理学、量子コンピューティング、地理空間分析、生物多様性、タンパク質の6分野の専門家によって厳選された580の問題と解答のペアを含む10の挑戦的なタスクを導入しています。これらは、科学における実験的および理論的なワークフローの両方をカバーしています。CURIEのタスクでは、ドメイン知識、長文脈情報の理解、多段階推論が要求され、さまざまなクローズドおよびオープンなLLMsを評価しました。Gemini Flash 2.0とClaude-3はドメインを横断して一貫して高い理解力を示しましたが、人気のGPT-4oとcommand-R+はタンパク質配列タスクで著しく失敗しました。最高性能でも32%であり、すべてのモデルに改善の余地が大いにあります。CURIEから得られた知見が、科学分野におけるLLMsの将来の開発を導くことを期待しています。評価コードとデータはhttps://github.com/google/curieにあります。

English

Scientific problem-solving involves synthesizing information while applying expert knowledge. We introduce CURIE, a scientific long-Context Understanding,Reasoning and Information Extraction benchmark to measure the potential of Large Language Models (LLMs) in scientific problem-solving and assisting scientists in realistic workflows. This benchmark introduces ten challenging tasks with a total of 580 problems and solution pairs curated by experts in six disciplines - materials science, condensed matter physics, quantum computing, geospatial analysis, biodiversity, and proteins - covering both experimental and theoretical work-flows in science. We evaluate a range of closed and open LLMs on tasks in CURIE which requires domain expertise, comprehension of long in-context information,and multi-step reasoning. While Gemini Flash 2.0 and Claude-3 show consistent high comprehension across domains, the popular GPT-4o and command-R+ fail dramatically on protein sequencing tasks. With the best performance at 32% there is much room for improvement for all models. We hope that insights gained from CURIE can guide the future development of LLMs in sciences. Evaluation code and data are in https://github.com/google/curie

CURIE: マルチタスク科学長文脈におけるLLMの評価理解と推論

CURIE: Evaluating LLMs On Multitask Scientific Long Context Understanding and Reasoning

要旨

Summary

Support

Support