SciEvalKit: Un Toolkit Open-source per la Valutazione dell'Intelligenza Generale Scientifica

Abstract

Presentiamo SciEvalKit, un toolkit unificato per il benchmarking, progettato per valutare i modelli di IA per la scienza in un'ampia gamma di discipline scientifiche e capacità operative. A differenza delle piattaforme di valutazione generaliste, SciEvalKit si concentra sulle competenze fondamentali dell'intelligenza scientifica, che includono la Percezione Multimodale Scientifica, il Ragionamento Multimodale Scientifico, la Comprensione Multimodale Scientifica, il Ragionamento Simbolico Scientifico, la Generazione di Codice Scientifico, la Generazione di Ipotesi Scientifiche e la Comprensione della Conoscenza Scientifica. Supporta sei principali domini scientifici, che spaziano dalla fisica e chimica all'astronomia e scienza dei materiali. SciEvalKit costruisce una base di benchmark scientifici di livello esperto, curati a partire da dataset reali e specifici per dominio, garantendo che i compiti riflettano sfide scientifiche autentiche. Il toolkit presenta una pipeline di valutazione flessibile ed estensibile che consente valutazioni in batch su modelli e dataset, supporta l'integrazione personalizzata di modelli e dataset e fornisce risultati trasparenti, riproducibili e confrontabili. Colmando il divario tra la valutazione basata sulle capacità e la diversità disciplinare, SciEvalKit offre un'infrastruttura standardizzata ma personalizzabile per testare le prestazioni della prossima generazione di modelli fondanti scientifici e agenti intelligenti. Il toolkit è open-source e mantenuto attivamente per promuovere uno sviluppo guidato dalla comunità e i progressi nell'IA per la Scienza.

English

We introduce SciEvalKit, a unified benchmarking toolkit designed to evaluate AI models for science across a broad range of scientific disciplines and task capabilities. Unlike general-purpose evaluation platforms, SciEvalKit focuses on the core competencies of scientific intelligence, including Scientific Multimodal Perception, Scientific Multimodal Reasoning, Scientific Multimodal Understanding, Scientific Symbolic Reasoning, Scientific Code Generation, Science Hypothesis Generation and Scientific Knowledge Understanding. It supports six major scientific domains, spanning from physics and chemistry to astronomy and materials science. SciEvalKit builds a foundation of expert-grade scientific benchmarks, curated from real-world, domain-specific datasets, ensuring that tasks reflect authentic scientific challenges. The toolkit features a flexible, extensible evaluation pipeline that enables batch evaluation across models and datasets, supports custom model and dataset integration, and provides transparent, reproducible, and comparable results. By bridging capability-based evaluation and disciplinary diversity, SciEvalKit offers a standardized yet customizable infrastructure to benchmark the next generation of scientific foundation models and intelligent agents. The toolkit is open-sourced and actively maintained to foster community-driven development and progress in AI4Science.