BABE: Benchmark dell'Arena Biologica
BABE: Biology Arena BEnchmark
February 5, 2026
Autori: Junting Zhou, Jin Chen, Linfeng Hao, Denghui Cao, Zheyu Wang, Qiguang Chen, Chaoyou Fu, Jiaze Chen, Yuchen Wu, Ge Zhang, Mingxuan Wang, Wenhao Huang, Tong Yang
cs.AI
Abstract
La rapida evoluzione dei grandi modelli linguistici (LLM) ha ampliato le loro capacità, passando dal dialogo base al ragionamento scientifico avanzato. Tuttavia, i benchmark esistenti in biologia spesso non riescono a valutare un'abilità critica richiesta ai ricercatori: la capacità di integrare i risultati sperimentali con la conoscenza contestuale per trarre conclusioni significative. Per colmare questa lacuna, introduciamo BABE (Biology Arena BEnchmark), un benchmark completo progettato per valutare le capacità di ragionamento sperimentale dei sistemi di intelligenza artificiale biologica. BABE è costruito in modo unico a partire da articoli di ricerca revisionati tra pari e da studi biologici del mondo reale, garantendo che i compiti riflettano la complessità e la natura interdisciplinare dell'indagine scientifica effettiva. BABE mette alla prova i modelli richiedendo loro di eseguire ragionamenti causali e inferenze cross-scala. Il nostro benchmark fornisce un quadro solido per valutare quanto bene i sistemi di IA possano ragionare come scienziati in attività, offrendo una misura più autentica del loro potenziale contributo alla ricerca biologica.
English
The rapid evolution of large language models (LLMs) has expanded their capabilities from basic dialogue to advanced scientific reasoning. However, existing benchmarks in biology often fail to assess a critical skill required of researchers: the ability to integrate experimental results with contextual knowledge to derive meaningful conclusions. To address this gap, we introduce BABE(Biology Arena BEnchmark), a comprehensive benchmark designed to evaluate the experimental reasoning capabilities of biological AI systems. BABE is uniquely constructed from peer-reviewed research papers and real-world biological studies, ensuring that tasks reflect the complexity and interdisciplinary nature of actual scientific inquiry. BABE challenges models to perform causal reasoning and cross-scale inference. Our benchmark provides a robust framework for assessing how well AI systems can reason like practicing scientists, offering a more authentic measure of their potential to contribute to biological research.