CS-Bench: Ein umfassender Benchmark für große Sprachmodelle zur Erlangung von Computerwissenschaftsbeherrschung.

CS-Bench: A Comprehensive Benchmark for Large Language Models towards Computer Science Mastery

June 12, 2024

Autoren: Xiaoshuai Song, Muxi Diao, Guanting Dong, Zhengyang Wang, Yujia Fu, Runqi Qiao, Zhexu Wang, Dayuan Fu, Huangxuan Wu, Bin Liang, Weihao Zeng, Yejie Wang, Zhuoma GongQue, Jianing Yu, Qiuna Tan, Weiran Xu

cs.AI

Zusammenfassung

Die Informatik (CS) steht als Zeugnis für die Feinheiten menschlicher Intelligenz, die die Entwicklung der künstlichen Intelligenz und der modernen Gesellschaft maßgeblich vorantreibt. Allerdings konzentriert sich die aktuelle Gemeinschaft großer Sprachmodelle (LLMs) übermäßig auf Benchmarks zur Analyse spezifischer grundlegender Fähigkeiten (z. B. Mathematik und Code-Generierung), vernachlässigt jedoch eine umfassende Bewertung des Informatikbereichs. Um diese Lücke zu schließen, stellen wir CS-Bench vor, den ersten zweisprachigen (Chinesisch-Englisch) Benchmark, der der Bewertung der Leistung von LLMs in der Informatik gewidmet ist. CS-Bench umfasst etwa 5.000 sorgfältig ausgewählte Testbeispiele, die 26 Teilbereiche in 4 Schlüsselbereichen der Informatik abdecken, verschiedene Aufgabenformen und Wissens- sowie Schlussfolgerungsbereiche einschließen. Unter Verwendung von CS-Bench führen wir eine umfassende Bewertung von über 30 gängigen LLMs durch, die die Beziehung zwischen der Leistung in der Informatik und den Modellgrößen aufzeigen. Wir analysieren auch quantitativ die Gründe für das Versagen bestehender LLMs und heben Verbesserungsrichtungen hervor, einschließlich Wissensergänzung und Informatik-spezifischer Schlussfolgerung. Weitere Experimente zur Kreuzfähigkeit zeigen eine hohe Korrelation zwischen den Fähigkeiten von LLMs in der Informatik und ihren Fähigkeiten in Mathematik und Codierung. Darüber hinaus zeigen spezialisierte LLMs für Mathematik und Codierung auch starke Leistungen in mehreren Teilbereichen der Informatik. In Zukunft sehen wir CS-Bench als Grundpfeiler für LLM-Anwendungen im Bereich der Informatik und als Wegbereiter für die Bewertung der vielfältigen Schlussfolgerungsfähigkeiten von LLMs. Die CS-Bench-Daten und Evaluationscode sind unter https://github.com/csbench/csbench verfügbar.

English

Computer Science (CS) stands as a testament to the intricacies of human intelligence, profoundly advancing the development of artificial intelligence and modern society. However, the current community of large language models (LLMs) overly focuses on benchmarks for analyzing specific foundational skills (e.g. mathematics and code generation), neglecting an all-round evaluation of the computer science field. To bridge this gap, we introduce CS-Bench, the first bilingual (Chinese-English) benchmark dedicated to evaluating the performance of LLMs in computer science. CS-Bench comprises approximately 5K meticulously curated test samples, covering 26 subfields across 4 key areas of computer science, encompassing various task forms and divisions of knowledge and reasoning. Utilizing CS-Bench, we conduct a comprehensive evaluation of over 30 mainstream LLMs, revealing the relationship between CS performance and model scales. We also quantitatively analyze the reasons for failures in existing LLMs and highlight directions for improvements, including knowledge supplementation and CS-specific reasoning. Further cross-capability experiments show a high correlation between LLMs' capabilities in computer science and their abilities in mathematics and coding. Moreover, expert LLMs specialized in mathematics and coding also demonstrate strong performances in several CS subfields. Looking ahead, we envision CS-Bench serving as a cornerstone for LLM applications in the CS field and paving new avenues in assessing LLMs' diverse reasoning capabilities. The CS-Bench data and evaluation code are available at https://github.com/csbench/csbench.