CS-Bench: Un punto de referencia integral para modelos de lenguaje extenso hacia el dominio de la informática

CS-Bench: A Comprehensive Benchmark for Large Language Models towards Computer Science Mastery

June 12, 2024

Autores: Xiaoshuai Song, Muxi Diao, Guanting Dong, Zhengyang Wang, Yujia Fu, Runqi Qiao, Zhexu Wang, Dayuan Fu, Huangxuan Wu, Bin Liang, Weihao Zeng, Yejie Wang, Zhuoma GongQue, Jianing Yu, Qiuna Tan, Weiran Xu

cs.AI

Resumen

La Ciencia de la Computación (CS) es un testimonio de las complejidades de la inteligencia humana, impulsando profundamente el desarrollo de la inteligencia artificial y la sociedad moderna. Sin embargo, la comunidad actual de modelos de lenguaje de gran escala (LLMs) se enfoca excesivamente en puntos de referencia para analizar habilidades fundamentales específicas (por ejemplo, matemáticas y generación de código), descuidando una evaluación integral del campo de la ciencia de la computación. Para cerrar esta brecha, presentamos CS-Bench, el primer punto de referencia bilingüe (chino-inglés) dedicado a evaluar el rendimiento de los LLMs en ciencia de la computación. CS-Bench consta de aproximadamente 5K muestras de prueba cuidadosamente seleccionadas, que cubren 26 subcampos en 4 áreas clave de la ciencia de la computación, abarcando diversas formas de tareas y divisiones de conocimiento y razonamiento. Utilizando CS-Bench, realizamos una evaluación exhaustiva de más de 30 LLMs principales, revelando la relación entre el rendimiento en CS y las escalas de los modelos. También analizamos cuantitativamente las razones de los fallos en los LLMs existentes y destacamos direcciones para mejoras, incluyendo la suplementación de conocimiento y el razonamiento específico de CS. Experimentos adicionales de capacidades cruzadas muestran una alta correlación entre las capacidades de los LLMs en ciencia de la computación y sus habilidades en matemáticas y codificación. Además, los LLMs expertos especializados en matemáticas y codificación también demuestran un fuerte rendimiento en varios subcampos de CS. Mirando hacia el futuro, prevemos que CS-Bench sirva como una piedra angular para las aplicaciones de LLMs en el campo de CS y abra nuevos caminos en la evaluación de las diversas capacidades de razonamiento de los LLMs. Los datos de CS-Bench y el código de evaluación están disponibles en https://github.com/csbench/csbench.

English

Computer Science (CS) stands as a testament to the intricacies of human intelligence, profoundly advancing the development of artificial intelligence and modern society. However, the current community of large language models (LLMs) overly focuses on benchmarks for analyzing specific foundational skills (e.g. mathematics and code generation), neglecting an all-round evaluation of the computer science field. To bridge this gap, we introduce CS-Bench, the first bilingual (Chinese-English) benchmark dedicated to evaluating the performance of LLMs in computer science. CS-Bench comprises approximately 5K meticulously curated test samples, covering 26 subfields across 4 key areas of computer science, encompassing various task forms and divisions of knowledge and reasoning. Utilizing CS-Bench, we conduct a comprehensive evaluation of over 30 mainstream LLMs, revealing the relationship between CS performance and model scales. We also quantitatively analyze the reasons for failures in existing LLMs and highlight directions for improvements, including knowledge supplementation and CS-specific reasoning. Further cross-capability experiments show a high correlation between LLMs' capabilities in computer science and their abilities in mathematics and coding. Moreover, expert LLMs specialized in mathematics and coding also demonstrate strong performances in several CS subfields. Looking ahead, we envision CS-Bench serving as a cornerstone for LLM applications in the CS field and paving new avenues in assessing LLMs' diverse reasoning capabilities. The CS-Bench data and evaluation code are available at https://github.com/csbench/csbench.