BABE : BIologie Arène BEnchmark
BABE: Biology Arena BEnchmark
February 5, 2026
papers.authors: Junting Zhou, Jin Chen, Linfeng Hao, Denghui Cao, Zheyu Wang, Qiguang Chen, Chaoyou Fu, Jiaze Chen, Yuchen Wu, Ge Zhang, Mingxuan Wang, Wenhao Huang, Tong Yang
cs.AI
papers.abstract
L'évolution rapide des grands modèles de langage (LLM) a étendu leurs capacités, passant du dialogue élémentaire au raisonnement scientifique avancé. Cependant, les benchmarks existants en biologie échouent souvent à évaluer une compétence essentielle requise chez les chercheurs : la capacité à intégrer des résultats expérimentaux avec des connaissances contextuelles pour tirer des conclusions significatives. Pour combler cette lacune, nous présentons BABE (Biology Arena BEnchmark), un benchmark complet conçu pour évaluer les capacités de raisonnement expérimental des systèmes d'IA en biologie. BABE est unique en son genre car il est construit à partir d'articles de recherche évalués par des pairs et d'études biologiques réelles, garantissant que les tâches reflètent la complexité et la nature interdisciplinaire de la véritable démarche scientifique. BABE met les modèles au défi d'effectuer un raisonnement causal et des inférences multi-échelles. Notre benchmark fournit un cadre robuste pour évaluer dans quelle mesure les systèmes d'IA peuvent raisonner comme des scientifiques en activité, offrant ainsi une mesure plus authentique de leur potentiel à contribuer à la recherche biologique.
English
The rapid evolution of large language models (LLMs) has expanded their capabilities from basic dialogue to advanced scientific reasoning. However, existing benchmarks in biology often fail to assess a critical skill required of researchers: the ability to integrate experimental results with contextual knowledge to derive meaningful conclusions. To address this gap, we introduce BABE(Biology Arena BEnchmark), a comprehensive benchmark designed to evaluate the experimental reasoning capabilities of biological AI systems. BABE is uniquely constructed from peer-reviewed research papers and real-world biological studies, ensuring that tasks reflect the complexity and interdisciplinary nature of actual scientific inquiry. BABE challenges models to perform causal reasoning and cross-scale inference. Our benchmark provides a robust framework for assessing how well AI systems can reason like practicing scientists, offering a more authentic measure of their potential to contribute to biological research.