CS-Bench: Een Uitgebreide Benchmark voor Grote Taalmodellen gericht op Beheersing van Computerwetenschappen
CS-Bench: A Comprehensive Benchmark for Large Language Models towards Computer Science Mastery
June 12, 2024
Auteurs: Xiaoshuai Song, Muxi Diao, Guanting Dong, Zhengyang Wang, Yujia Fu, Runqi Qiao, Zhexu Wang, Dayuan Fu, Huangxuan Wu, Bin Liang, Weihao Zeng, Yejie Wang, Zhuoma GongQue, Jianing Yu, Qiuna Tan, Weiran Xu
cs.AI
Samenvatting
Informatica (CS) staat als een bewijs van de complexiteit van de menselijke intelligentie en draagt in belangrijke mate bij aan de ontwikkeling van kunstmatige intelligentie en de moderne samenleving. De huidige gemeenschap van grote taalmodellen (LLMs) richt zich echter te veel op benchmarks voor het analyseren van specifieke basisvaardigheden (bijvoorbeeld wiskunde en codegeneratie), waardoor een alomvattende evaluatie van het vakgebied informatica wordt verwaarloosd. Om deze kloof te overbruggen, introduceren we CS-Bench, de eerste tweetalige (Chinees-Engels) benchmark die specifiek is ontworpen om de prestaties van LLMs in de informatica te evalueren. CS-Bench bestaat uit ongeveer 5.000 zorgvuldig samengestelde testvoorbeelden, die 26 subgebieden bestrijken binnen 4 belangrijke domeinen van de informatica, en omvat diverse taakvormen en verdelingen van kennis en redenering. Met behulp van CS-Bench voeren we een uitgebreide evaluatie uit van meer dan 30 mainstream LLMs, waarbij we de relatie tussen CS-prestaties en modelschalen blootleggen. We analyseren ook kwantitatief de redenen voor falen in bestaande LLMs en benadrukken verbeteringsrichtingen, waaronder kennisaanvulling en CS-specifiek redeneren. Verdere experimenten met kruisvaardigheden tonen een hoge correlatie aan tussen de capaciteiten van LLMs in de informatica en hun vaardigheden in wiskunde en coderen. Bovendien laten expert-LLMs die gespecialiseerd zijn in wiskunde en coderen ook sterke prestaties zien in verschillende CS-subgebieden. Vooruitkijkend zien we CS-Bench als een hoeksteen voor LLM-toepassingen in het CS-veld en als een wegbereider voor nieuwe manieren om de diverse redeneervaardigheden van LLMs te beoordelen. De CS-Bench-gegevens en evaluatiecode zijn beschikbaar op https://github.com/csbench/csbench.
English
Computer Science (CS) stands as a testament to the intricacies of human
intelligence, profoundly advancing the development of artificial intelligence
and modern society. However, the current community of large language models
(LLMs) overly focuses on benchmarks for analyzing specific foundational skills
(e.g. mathematics and code generation), neglecting an all-round evaluation of
the computer science field. To bridge this gap, we introduce CS-Bench, the
first bilingual (Chinese-English) benchmark dedicated to evaluating the
performance of LLMs in computer science. CS-Bench comprises approximately 5K
meticulously curated test samples, covering 26 subfields across 4 key areas of
computer science, encompassing various task forms and divisions of knowledge
and reasoning. Utilizing CS-Bench, we conduct a comprehensive evaluation of
over 30 mainstream LLMs, revealing the relationship between CS performance and
model scales. We also quantitatively analyze the reasons for failures in
existing LLMs and highlight directions for improvements, including knowledge
supplementation and CS-specific reasoning. Further cross-capability experiments
show a high correlation between LLMs' capabilities in computer science and
their abilities in mathematics and coding. Moreover, expert LLMs specialized in
mathematics and coding also demonstrate strong performances in several CS
subfields. Looking ahead, we envision CS-Bench serving as a cornerstone for LLM
applications in the CS field and paving new avenues in assessing LLMs' diverse
reasoning capabilities. The CS-Bench data and evaluation code are available at
https://github.com/csbench/csbench.