CS-Bench: Um Benchmark Abrangente para Modelos de Linguagem de Grande Escala em Direção ao Domínio da Ciência da Computação
CS-Bench: A Comprehensive Benchmark for Large Language Models towards Computer Science Mastery
June 12, 2024
Autores: Xiaoshuai Song, Muxi Diao, Guanting Dong, Zhengyang Wang, Yujia Fu, Runqi Qiao, Zhexu Wang, Dayuan Fu, Huangxuan Wu, Bin Liang, Weihao Zeng, Yejie Wang, Zhuoma GongQue, Jianing Yu, Qiuna Tan, Weiran Xu
cs.AI
Resumo
A Ciência da Computação (CC) é um testemunho das complexidades da inteligência humana, impulsionando profundamente o desenvolvimento da inteligência artificial e da sociedade moderna. No entanto, a comunidade atual de modelos de linguagem de grande escala (LLMs) foca excessivamente em benchmarks para analisar habilidades fundamentais específicas (por exemplo, matemática e geração de código), negligenciando uma avaliação abrangente do campo da ciência da computação. Para preencher essa lacuna, introduzimos o CS-Bench, o primeiro benchmark bilíngue (chinês-inglês) dedicado a avaliar o desempenho de LLMs em ciência da computação. O CS-Bench compreende aproximadamente 5 mil amostras de teste meticulosamente curadas, abrangendo 26 subáreas em 4 áreas principais da ciência da computação, englobando diversas formas de tarefas e divisões de conhecimento e raciocínio. Utilizando o CS-Bench, realizamos uma avaliação abrangente de mais de 30 LLMs mainstream, revelando a relação entre o desempenho em CC e as escalas dos modelos. Também analisamos quantitativamente as razões para falhas nos LLMs existentes e destacamos direções para melhorias, incluindo suplementação de conhecimento e raciocínio específico para CC. Experimentos adicionais de capacidade cruzada mostram uma alta correlação entre as capacidades dos LLMs em ciência da computação e suas habilidades em matemática e codificação. Além disso, LLMs especializados em matemática e codificação também demonstram desempenhos fortes em várias subáreas de CC. Olhando para o futuro, vislumbramos o CS-Bench como uma pedra angular para aplicações de LLMs no campo da CC e abrindo novos caminhos na avaliação das diversas capacidades de raciocínio dos LLMs. Os dados do CS-Bench e o código de avaliação estão disponíveis em https://github.com/csbench/csbench.
English
Computer Science (CS) stands as a testament to the intricacies of human
intelligence, profoundly advancing the development of artificial intelligence
and modern society. However, the current community of large language models
(LLMs) overly focuses on benchmarks for analyzing specific foundational skills
(e.g. mathematics and code generation), neglecting an all-round evaluation of
the computer science field. To bridge this gap, we introduce CS-Bench, the
first bilingual (Chinese-English) benchmark dedicated to evaluating the
performance of LLMs in computer science. CS-Bench comprises approximately 5K
meticulously curated test samples, covering 26 subfields across 4 key areas of
computer science, encompassing various task forms and divisions of knowledge
and reasoning. Utilizing CS-Bench, we conduct a comprehensive evaluation of
over 30 mainstream LLMs, revealing the relationship between CS performance and
model scales. We also quantitatively analyze the reasons for failures in
existing LLMs and highlight directions for improvements, including knowledge
supplementation and CS-specific reasoning. Further cross-capability experiments
show a high correlation between LLMs' capabilities in computer science and
their abilities in mathematics and coding. Moreover, expert LLMs specialized in
mathematics and coding also demonstrate strong performances in several CS
subfields. Looking ahead, we envision CS-Bench serving as a cornerstone for LLM
applications in the CS field and paving new avenues in assessing LLMs' diverse
reasoning capabilities. The CS-Bench data and evaluation code are available at
https://github.com/csbench/csbench.