BABE: Biologia Arena BEnchmark
BABE: Biology Arena BEnchmark
February 5, 2026
Autores: Junting Zhou, Jin Chen, Linfeng Hao, Denghui Cao, Zheyu Wang, Qiguang Chen, Chaoyou Fu, Jiaze Chen, Yuchen Wu, Ge Zhang, Mingxuan Wang, Wenhao Huang, Tong Yang
cs.AI
Resumo
A rápida evolução dos grandes modelos de linguagem (LLMs) expandiu suas capacidades, passando do diálogo básico para o raciocínio científico avançado. No entanto, os benchmarks existentes em biologia frequentemente deixam de avaliar uma competência crítica exigida dos pesquisadores: a capacidade de integrar resultados experimentais com conhecimento contextual para derivar conclusões significativas. Para preencher essa lacuna, apresentamos o BABE (Biology Arena BEnchmark), um benchmark abrangente projetado para avaliar as capacidades de raciocínio experimental de sistemas de IA biológica. O BABE é construído de forma única a partir de artigos de pesquisa revisados por pares e estudos biológicos do mundo real, garantindo que as tarefas reflitam a complexidade e a natureza interdisciplinar da investigação científica real. O BABE desafia os modelos a realizar raciocínio causal e inferência transversal a escalas. Nosso benchmark fornece uma estrutura robusta para avaliar quão bem os sistemas de IA podem raciocinar como cientistas em atividade, oferecendo uma medida mais autêntica do seu potencial para contribuir com a pesquisa biológica.
English
The rapid evolution of large language models (LLMs) has expanded their capabilities from basic dialogue to advanced scientific reasoning. However, existing benchmarks in biology often fail to assess a critical skill required of researchers: the ability to integrate experimental results with contextual knowledge to derive meaningful conclusions. To address this gap, we introduce BABE(Biology Arena BEnchmark), a comprehensive benchmark designed to evaluate the experimental reasoning capabilities of biological AI systems. BABE is uniquely constructed from peer-reviewed research papers and real-world biological studies, ensuring that tasks reflect the complexity and interdisciplinary nature of actual scientific inquiry. BABE challenges models to perform causal reasoning and cross-scale inference. Our benchmark provides a robust framework for assessing how well AI systems can reason like practicing scientists, offering a more authentic measure of their potential to contribute to biological research.