CS-Bench: Un Benchmark Completo per Modelli Linguistici di Grande Scala verso la Padronanza dell'Informatica
CS-Bench: A Comprehensive Benchmark for Large Language Models towards Computer Science Mastery
June 12, 2024
Autori: Xiaoshuai Song, Muxi Diao, Guanting Dong, Zhengyang Wang, Yujia Fu, Runqi Qiao, Zhexu Wang, Dayuan Fu, Huangxuan Wu, Bin Liang, Weihao Zeng, Yejie Wang, Zhuoma GongQue, Jianing Yu, Qiuna Tan, Weiran Xu
cs.AI
Abstract
L'Informatica (CS) rappresenta una testimonianza delle complessità dell'intelligenza umana, contribuendo in modo significativo allo sviluppo dell'intelligenza artificiale e della società moderna. Tuttavia, l'attuale comunità dei grandi modelli linguistici (LLMs) si concentra eccessivamente su benchmark per analizzare competenze specifiche di base (ad esempio, matematica e generazione di codice), trascurando una valutazione completa del campo dell'informatica. Per colmare questa lacuna, introduciamo CS-Bench, il primo benchmark bilingue (cinese-inglese) dedicato a valutare le prestazioni degli LLMs in informatica. CS-Bench comprende circa 5K campioni di test accuratamente curati, che coprono 26 sottocampi in 4 aree chiave dell'informatica, abbracciando varie forme di compiti e divisioni di conoscenza e ragionamento. Utilizzando CS-Bench, conduciamo una valutazione completa di oltre 30 LLMs mainstream, rivelando la relazione tra le prestazioni in CS e le dimensioni dei modelli. Analizziamo inoltre quantitativamente le ragioni degli insuccessi negli LLMs esistenti e evidenziamo le direzioni per miglioramenti, inclusi l'integrazione di conoscenze e il ragionamento specifico per l'informatica. Ulteriori esperimenti sulle capacità incrociate mostrano un'elevata correlazione tra le capacità degli LLMs in informatica e le loro abilità in matematica e codifica. Inoltre, LLMs esperti specializzati in matematica e codifica dimostrano anche forti prestazioni in diversi sottocampi dell'informatica. Guardando al futuro, immaginiamo che CS-Bench possa servire come pietra angolare per le applicazioni degli LLMs nel campo dell'informatica e aprire nuove strade nella valutazione delle diverse capacità di ragionamento degli LLMs. I dati di CS-Bench e il codice di valutazione sono disponibili su https://github.com/csbench/csbench.
English
Computer Science (CS) stands as a testament to the intricacies of human
intelligence, profoundly advancing the development of artificial intelligence
and modern society. However, the current community of large language models
(LLMs) overly focuses on benchmarks for analyzing specific foundational skills
(e.g. mathematics and code generation), neglecting an all-round evaluation of
the computer science field. To bridge this gap, we introduce CS-Bench, the
first bilingual (Chinese-English) benchmark dedicated to evaluating the
performance of LLMs in computer science. CS-Bench comprises approximately 5K
meticulously curated test samples, covering 26 subfields across 4 key areas of
computer science, encompassing various task forms and divisions of knowledge
and reasoning. Utilizing CS-Bench, we conduct a comprehensive evaluation of
over 30 mainstream LLMs, revealing the relationship between CS performance and
model scales. We also quantitatively analyze the reasons for failures in
existing LLMs and highlight directions for improvements, including knowledge
supplementation and CS-specific reasoning. Further cross-capability experiments
show a high correlation between LLMs' capabilities in computer science and
their abilities in mathematics and coding. Moreover, expert LLMs specialized in
mathematics and coding also demonstrate strong performances in several CS
subfields. Looking ahead, we envision CS-Bench serving as a cornerstone for LLM
applications in the CS field and paving new avenues in assessing LLMs' diverse
reasoning capabilities. The CS-Bench data and evaluation code are available at
https://github.com/csbench/csbench.