BABE: Biologie-Arena-Benchmark
BABE: Biology Arena BEnchmark
February 5, 2026
papers.authors: Junting Zhou, Jin Chen, Linfeng Hao, Denghui Cao, Zheyu Wang, Qiguang Chen, Chaoyou Fu, Jiaze Chen, Yuchen Wu, Ge Zhang, Mingxuan Wang, Wenhao Huang, Tong Yang
cs.AI
papers.abstract
Die rasante Entwicklung großer Sprachmodelle (LLMs) hat ihre Fähigkeiten von einfachen Dialogen hin zu fortgeschrittenem wissenschaftlichem Denken erweitert. Bestehende Benchmarks in der Biologie bewerten jedoch oft nicht eine entscheidende Fähigkeit, die von Forschern verlangt wird: die Fähigkeit, experimentelle Ergebnisse mit kontextuellem Wissen zu integrieren, um aussagekräftige Schlussfolgerungen zu ziehen. Um diese Lücke zu schließen, führen wir BABE (Biology Arena BEnchmark) ein, einen umfassenden Benchmark, der entwickelt wurde, um die experimentelle Denkfähigkeit biologischer KI-Systeme zu bewerten. BABE ist einzigartig, da es aus begutachteten Forschungsartikeln und realen biologischen Studien konstruiert wurde, um sicherzustellen, dass die Aufgaben die Komplexität und interdisziplinäre Natur tatsächlicher wissenschaftlicher Untersuchungen widerspiegeln. BABE fordert Modelle heraus, kausales Denken und übergreifende Inferenzen über verschiedene Skalen hinweg durchzuführen. Unser Benchmark bietet einen robusten Rahmen, um zu bewerten, wie gut KI-Systeme wie praktizierende Wissenschaftler denken können, und liefert damit ein authentischeres Maß für ihr Potenzial, einen Beitrag zur biologischen Forschung zu leisten.
English
The rapid evolution of large language models (LLMs) has expanded their capabilities from basic dialogue to advanced scientific reasoning. However, existing benchmarks in biology often fail to assess a critical skill required of researchers: the ability to integrate experimental results with contextual knowledge to derive meaningful conclusions. To address this gap, we introduce BABE(Biology Arena BEnchmark), a comprehensive benchmark designed to evaluate the experimental reasoning capabilities of biological AI systems. BABE is uniquely constructed from peer-reviewed research papers and real-world biological studies, ensuring that tasks reflect the complexity and interdisciplinary nature of actual scientific inquiry. BABE challenges models to perform causal reasoning and cross-scale inference. Our benchmark provides a robust framework for assessing how well AI systems can reason like practicing scientists, offering a more authentic measure of their potential to contribute to biological research.