CS-Bench: 컴퓨터 과학 숙달을 위한 대규모 언어 모델 종합 벤치마크

CS-Bench: A Comprehensive Benchmark for Large Language Models towards Computer Science Mastery

June 12, 2024

저자: Xiaoshuai Song, Muxi Diao, Guanting Dong, Zhengyang Wang, Yujia Fu, Runqi Qiao, Zhexu Wang, Dayuan Fu, Huangxuan Wu, Bin Liang, Weihao Zeng, Yejie Wang, Zhuoma GongQue, Jianing Yu, Qiuna Tan, Weiran Xu

cs.AI

초록

컴퓨터 과학(CS)은 인간 지능의 복잡성을 증명하며, 인공지능과 현대 사회의 발전에 깊이 기여하고 있습니다. 그러나 현재 대형 언어 모델(LLM) 커뮤니티는 특정 기초 능력(예: 수학 및 코드 생성) 분석을 위한 벤치마크에 지나치게 초점을 맞추고 있어, 컴퓨터 과학 분야 전반에 대한 종합적인 평가를 소홀히 하고 있습니다. 이러한 격차를 해소하기 위해, 우리는 컴퓨터 과학에서의 LLM 성능을 평가하기 위한 최초의 이중 언어(중국어-영어) 벤치마크인 CS-Bench를 소개합니다. CS-Bench는 약 5,000개의 세심하게 선별된 테스트 샘플로 구성되어 있으며, 컴퓨터 과학의 4가지 주요 영역에 걸친 26개의 하위 분야를 포괄하며, 다양한 작업 형태와 지식 및 추론의 분할을 포함합니다. CS-Bench를 활용하여, 우리는 30개 이상의 주류 LLM에 대한 종합적인 평가를 수행하고, CS 성능과 모델 규모 간의 관계를 밝혀냈습니다. 또한, 기존 LLM의 실패 원인을 정량적으로 분석하고, 지식 보충 및 CS 특화 추론을 포함한 개선 방향을 강조했습니다. 추가적인 교차 능력 실험은 LLM의 컴퓨터 과학 능력과 수학 및 코딩 능력 간의 높은 상관관계를 보여줍니다. 더 나아가, 수학 및 코딩에 특화된 전문가 LLM도 여러 CS 하위 분야에서 강력한 성능을 보였습니다. 앞으로, 우리는 CS-Bench가 CS 분야에서의 LLM 응용의 초석이 되고, LLM의 다양한 추론 능력 평가에 새로운 길을 열어줄 것으로 기대합니다. CS-Bench 데이터와 평가 코드는 https://github.com/csbench/csbench에서 확인할 수 있습니다.

English

Computer Science (CS) stands as a testament to the intricacies of human intelligence, profoundly advancing the development of artificial intelligence and modern society. However, the current community of large language models (LLMs) overly focuses on benchmarks for analyzing specific foundational skills (e.g. mathematics and code generation), neglecting an all-round evaluation of the computer science field. To bridge this gap, we introduce CS-Bench, the first bilingual (Chinese-English) benchmark dedicated to evaluating the performance of LLMs in computer science. CS-Bench comprises approximately 5K meticulously curated test samples, covering 26 subfields across 4 key areas of computer science, encompassing various task forms and divisions of knowledge and reasoning. Utilizing CS-Bench, we conduct a comprehensive evaluation of over 30 mainstream LLMs, revealing the relationship between CS performance and model scales. We also quantitatively analyze the reasons for failures in existing LLMs and highlight directions for improvements, including knowledge supplementation and CS-specific reasoning. Further cross-capability experiments show a high correlation between LLMs' capabilities in computer science and their abilities in mathematics and coding. Moreover, expert LLMs specialized in mathematics and coding also demonstrate strong performances in several CS subfields. Looking ahead, we envision CS-Bench serving as a cornerstone for LLM applications in the CS field and paving new avenues in assessing LLMs' diverse reasoning capabilities. The CS-Bench data and evaluation code are available at https://github.com/csbench/csbench.