CS-Bench: Комплексный бенчмарк для больших языковых моделей в направлении Овладения информатикой

CS-Bench: A Comprehensive Benchmark for Large Language Models towards Computer Science Mastery

June 12, 2024

Авторы: Xiaoshuai Song, Muxi Diao, Guanting Dong, Zhengyang Wang, Yujia Fu, Runqi Qiao, Zhexu Wang, Dayuan Fu, Huangxuan Wu, Bin Liang, Weihao Zeng, Yejie Wang, Zhuoma GongQue, Jianing Yu, Qiuna Tan, Weiran Xu

cs.AI

Аннотация

Информатика (CS) служит свидетельством сложностей человеческого интеллекта, глубоко способствуя развитию искусственного интеллекта и современного общества. Однако текущее сообщество крупных языковых моделей (LLM) слишком сосредоточено на показателях для анализа конкретных базовых навыков (например, математики и генерации кода), пренебрегая всесторонней оценки области информатики. Для устранения этого разрыва мы представляем CS-Bench, первый двуязычный (китайско-английский) бенчмарк, посвященный оценке производительности LLM в области информатики. CS-Bench включает около 5 тыс. тщательно подобранных тестовых образцов, охватывающих 26 подобластей в 4 ключевых областях информатики, включая различные формы задач и разделы знаний и рассуждений. Используя CS-Bench, мы проводим всестороннюю оценку более чем 30 основных LLM, раскрывая связь между производительностью в информатике и масштабами моделей. Мы также качественно анализируем причины неудач существующих LLM и выделяем направления для улучшений, включая дополнение знаний и информатику-специфическое рассуждение. Дополнительные эксперименты по перекрестной способности показывают высокую корреляцию между способностями LLM в информатике и их способностями в математике и программировании. Более того, экспертные LLM, специализированные на математике и программировании, также демонстрируют высокую производительность в нескольких подобластях информатики. В перспективе мы видим, что CS-Bench станет угловым камнем для применения LLM в области информатики и откроет новые пути в оценке разнообразных рассуждений LLM. Данные и код оценки CS-Bench доступны по ссылке https://github.com/csbench/csbench.

English

Computer Science (CS) stands as a testament to the intricacies of human intelligence, profoundly advancing the development of artificial intelligence and modern society. However, the current community of large language models (LLMs) overly focuses on benchmarks for analyzing specific foundational skills (e.g. mathematics and code generation), neglecting an all-round evaluation of the computer science field. To bridge this gap, we introduce CS-Bench, the first bilingual (Chinese-English) benchmark dedicated to evaluating the performance of LLMs in computer science. CS-Bench comprises approximately 5K meticulously curated test samples, covering 26 subfields across 4 key areas of computer science, encompassing various task forms and divisions of knowledge and reasoning. Utilizing CS-Bench, we conduct a comprehensive evaluation of over 30 mainstream LLMs, revealing the relationship between CS performance and model scales. We also quantitatively analyze the reasons for failures in existing LLMs and highlight directions for improvements, including knowledge supplementation and CS-specific reasoning. Further cross-capability experiments show a high correlation between LLMs' capabilities in computer science and their abilities in mathematics and coding. Moreover, expert LLMs specialized in mathematics and coding also demonstrate strong performances in several CS subfields. Looking ahead, we envision CS-Bench serving as a cornerstone for LLM applications in the CS field and paving new avenues in assessing LLMs' diverse reasoning capabilities. The CS-Bench data and evaluation code are available at https://github.com/csbench/csbench.