SciBench : Évaluation des capacités de résolution de problèmes scientifiques de niveau universitaire des grands modèles de langage

SciBench: Evaluating College-Level Scientific Problem-Solving Abilities of Large Language Models

July 20, 2023

Auteurs: Xiaoxuan Wang, Ziniu Hu, Pan Lu, Yanqiao Zhu, Jieyu Zhang, Satyen Subramaniam, Arjun R. Loomba, Shichang Zhang, Yizhou Sun, Wei Wang

cs.AI

Résumé

Les récentes avancées dans les modèles de langage à grande échelle (LLMs) ont démontré des progrès notables sur de nombreux benchmarks mathématiques. Cependant, la plupart de ces benchmarks ne présentent que des problèmes basés sur les programmes du collège et du lycée, contiennent uniquement des questions à choix multiples, et se limitent à un champ restreint d'opérations arithmétiques élémentaires. Pour remédier à ces limitations, cet article introduit une suite de benchmarks étendue, SciBench, qui vise à examiner systématiquement les capacités de raisonnement nécessaires à la résolution de problèmes scientifiques complexes. SciBench comprend deux ensembles de données soigneusement sélectionnés : un ensemble ouvert présentant une variété de problèmes scientifiques de niveau universitaire tirés de manuels de mathématiques, de chimie et de physique, et un ensemble fermé comprenant des problèmes issus d'examens de premier cycle en informatique et en mathématiques. Sur la base de ces deux ensembles de données, nous menons une étude approfondie de deux LLMs représentatifs avec diverses stratégies d'incitation. Les résultats révèlent que les LLMs actuels ne parviennent pas à offrir une performance satisfaisante, avec un score global de seulement 35,80 %. De plus, à travers une étude utilisateur détaillée, nous catégorisons les erreurs commises par les LLMs en dix capacités de résolution de problèmes. Notre analyse indique qu'aucune stratégie d'incitation ne surpasse significativement les autres, et que certaines stratégies qui montrent des améliorations dans certaines compétences de résolution de problèmes entraînent des déclins dans d'autres compétences. Nous envisageons que SciBench catalysera des développements ultérieurs dans les capacités de raisonnement des LLMs, contribuant ainsi finalement à la recherche et à la découverte scientifiques.

English

Recent advances in large language models (LLMs) have demonstrated notable progress on many mathematical benchmarks. However, most of these benchmarks only feature problems grounded in junior and senior high school subjects, contain only multiple-choice questions, and are confined to a limited scope of elementary arithmetic operations. To address these issues, this paper introduces an expansive benchmark suite SciBench that aims to systematically examine the reasoning capabilities required for complex scientific problem solving. SciBench contains two carefully curated datasets: an open set featuring a range of collegiate-level scientific problems drawn from mathematics, chemistry, and physics textbooks, and a closed set comprising problems from undergraduate-level exams in computer science and mathematics. Based on the two datasets, we conduct an in-depth benchmark study of two representative LLMs with various prompting strategies. The results reveal that current LLMs fall short of delivering satisfactory performance, with an overall score of merely 35.80%. Furthermore, through a detailed user study, we categorize the errors made by LLMs into ten problem-solving abilities. Our analysis indicates that no single prompting strategy significantly outperforms others and some strategies that demonstrate improvements in certain problem-solving skills result in declines in other skills. We envision that SciBench will catalyze further developments in the reasoning abilities of LLMs, thereby ultimately contributing to scientific research and discovery.