CS-Bench : Un benchmark complet pour les modèles de langage de grande taille visant la maîtrise de l'informatique

CS-Bench: A Comprehensive Benchmark for Large Language Models towards Computer Science Mastery

June 12, 2024

Auteurs: Xiaoshuai Song, Muxi Diao, Guanting Dong, Zhengyang Wang, Yujia Fu, Runqi Qiao, Zhexu Wang, Dayuan Fu, Huangxuan Wu, Bin Liang, Weihao Zeng, Yejie Wang, Zhuoma GongQue, Jianing Yu, Qiuna Tan, Weiran Xu

cs.AI

Résumé

L'informatique (CS) témoigne des complexités de l'intelligence humaine, propulsant de manière significative le développement de l'intelligence artificielle et de la société moderne. Cependant, la communauté actuelle des grands modèles de langage (LLMs) se concentre excessivement sur des benchmarks pour analyser des compétences fondamentales spécifiques (par exemple, les mathématiques et la génération de code), négligeant une évaluation globale du domaine de l'informatique. Pour combler cette lacune, nous introduisons CS-Bench, le premier benchmark bilingue (chinois-anglais) dédié à l'évaluation des performances des LLMs en informatique. CS-Bench comprend environ 5 000 échantillons de test soigneusement sélectionnés, couvrant 26 sous-domaines répartis dans 4 domaines clés de l'informatique, englobant diverses formes de tâches et divisions de connaissances et de raisonnement. En utilisant CS-Bench, nous menons une évaluation complète de plus de 30 LLMs grand public, révélant la relation entre les performances en CS et les échelles des modèles. Nous analysons également de manière quantitative les raisons des échecs des LLMs existants et mettons en lumière des axes d'amélioration, notamment la supplémentation des connaissances et le raisonnement spécifique à l'informatique. Des expériences transversales supplémentaires montrent une forte corrélation entre les capacités des LLMs en informatique et leurs aptitudes en mathématiques et en codage. De plus, les LLMs experts en mathématiques et en codage démontrent également de solides performances dans plusieurs sous-domaines de l'informatique. À l'avenir, nous envisageons que CS-Bench serve de pierre angulaire pour les applications des LLMs dans le domaine de l'informatique et ouvre de nouvelles voies dans l'évaluation des diverses capacités de raisonnement des LLMs. Les données de CS-Bench et le code d'évaluation sont disponibles à l'adresse https://github.com/csbench/csbench.

English

Computer Science (CS) stands as a testament to the intricacies of human intelligence, profoundly advancing the development of artificial intelligence and modern society. However, the current community of large language models (LLMs) overly focuses on benchmarks for analyzing specific foundational skills (e.g. mathematics and code generation), neglecting an all-round evaluation of the computer science field. To bridge this gap, we introduce CS-Bench, the first bilingual (Chinese-English) benchmark dedicated to evaluating the performance of LLMs in computer science. CS-Bench comprises approximately 5K meticulously curated test samples, covering 26 subfields across 4 key areas of computer science, encompassing various task forms and divisions of knowledge and reasoning. Utilizing CS-Bench, we conduct a comprehensive evaluation of over 30 mainstream LLMs, revealing the relationship between CS performance and model scales. We also quantitatively analyze the reasons for failures in existing LLMs and highlight directions for improvements, including knowledge supplementation and CS-specific reasoning. Further cross-capability experiments show a high correlation between LLMs' capabilities in computer science and their abilities in mathematics and coding. Moreover, expert LLMs specialized in mathematics and coding also demonstrate strong performances in several CS subfields. Looking ahead, we envision CS-Bench serving as a cornerstone for LLM applications in the CS field and paving new avenues in assessing LLMs' diverse reasoning capabilities. The CS-Bench data and evaluation code are available at https://github.com/csbench/csbench.