SciEvalKit: Een open-source evaluatietoolkit voor wetenschappelijke algemene intelligentie
SciEvalKit: An Open-source Evaluation Toolkit for Scientific General Intelligence
December 26, 2025
Auteurs: Yiheng Wang, Yixin Chen, Shuo Li, Yifan Zhou, Bo Liu, Hengjian Gao, Jiakang Yuan, Jia Bu, Wanghan Xu, Yuhao Zhou, Xiangyu Zhao, Zhiwang Zhou, Fengxiang Wang, Haodong Duan, Songyang Zhang, Jun Yao, Han Deng, Yizhou Wang, Jiabei Xiao, Jiaqi Liu, Encheng Su, Yujie Liu, Weida Wang, Junchi Yao, Shenghe Zheng, Haoran Sun, Runmin Ma, Xiangchao Yan, Bo Zhang, Dongzhan Zhou, Shufei Zhang, Peng Ye, Xiaosong Wang, Shixiang Tang, Wenlong Zhang, Lei Bai
cs.AI
Samenvatting
Wij introduceren SciEvalKit, een uniforme toolkit voor benchmarken, ontworpen om AI-modellen voor wetenschap te evalueren over een breed scala aan wetenschappelijke disciplines en taakcapaciteiten. In tegenstelling tot algemene evaluatieplatforms richt SciEvalKit zich op de kerncompetenties van wetenschappelijke intelligentie, waaronder Wetenschappelijke Multimodale Perceptie, Wetenschappelijk Multimodaal Redeneren, Wetenschappelijk Multimodaal Begrip, Wetenschappelijk Symbolisch Redeneren, Wetenschappelijke Codegeneratie, Wetenschappelijke Hypothesevorming en Wetenschappelijk Kennisbegrip. Het ondersteunt zes grote wetenschappelijke domeinen, variërend van natuurkunde en scheikunde tot astronomie en materiaalkunde. SciEvalKit legt een fundament van expert-grade wetenschappelijke benchmarks, samengesteld uit real-world, domeinspecifieke datasets, om ervoor te zorgen dat taken authentieke wetenschappelijke uitdagingen weerspiegelen. De toolkit beschikt over een flexibele, uitbreidbare evaluatiepijplijn die batch-evaluatie over modellen en datasets mogelijk maakt, ondersteuning biedt voor integratie van aangepaste modellen en datasets, en transparante, reproduceerbare en vergelijkbare resultaten levert. Door vermogen-gebaseerde evaluatie en disciplinaire diversiteit te verbinden, biedt SciEvalKit een gestandaardiseerde yet aanpasbare infrastructuur om de volgende generatie van wetenschappelijke foundation-modellen en intelligente agents te benchmarken. De toolkit is open-source en actief in onderhoud om gemeenschapsgedreven ontwikkeling en vooruitgang in AI4Science te bevorderen.
English
We introduce SciEvalKit, a unified benchmarking toolkit designed to evaluate AI models for science across a broad range of scientific disciplines and task capabilities. Unlike general-purpose evaluation platforms, SciEvalKit focuses on the core competencies of scientific intelligence, including Scientific Multimodal Perception, Scientific Multimodal Reasoning, Scientific Multimodal Understanding, Scientific Symbolic Reasoning, Scientific Code Generation, Science Hypothesis Generation and Scientific Knowledge Understanding. It supports six major scientific domains, spanning from physics and chemistry to astronomy and materials science. SciEvalKit builds a foundation of expert-grade scientific benchmarks, curated from real-world, domain-specific datasets, ensuring that tasks reflect authentic scientific challenges. The toolkit features a flexible, extensible evaluation pipeline that enables batch evaluation across models and datasets, supports custom model and dataset integration, and provides transparent, reproducible, and comparable results. By bridging capability-based evaluation and disciplinary diversity, SciEvalKit offers a standardized yet customizable infrastructure to benchmark the next generation of scientific foundation models and intelligent agents. The toolkit is open-sourced and actively maintained to foster community-driven development and progress in AI4Science.