BABE: Биологическая Арена Бенчмарк
BABE: Biology Arena BEnchmark
February 5, 2026
Авторы: Junting Zhou, Jin Chen, Linfeng Hao, Denghui Cao, Zheyu Wang, Qiguang Chen, Chaoyou Fu, Jiaze Chen, Yuchen Wu, Ge Zhang, Mingxuan Wang, Wenhao Huang, Tong Yang
cs.AI
Аннотация
Быстрая эволюция больших языковых моделей (LLM) расширила их возможности от базового диалога до сложного научного мышления. Однако существующие биологические бенчмарки часто не оценивают критически важный навык, необходимый исследователям: способность интегрировать экспериментальные результаты с контекстуальными знаниями для получения значимых выводов. Чтобы восполнить этот пробел, мы представляем BABE (Biology Arena BEnchmark) — комплексный бенчмарк, разработанный для оценки способности биологических систем ИИ к экспериментальному мышлению. BABE уникален тем, что построен на основе рецензируемых научных статей и реальных биологических исследований, что гарантирует соответствие задач сложности и междисциплинарному характеру настоящего научного поиска. BABE проверяет способность моделей к каузальным рассуждениям и межмасштабным выводам. Наш бенчмарк предоставляет надежную основу для оценки того, насколько хорошо системы ИИ могут рассуждать как практикующие ученые, предлагая более аутентичную меру их потенциала для вклада в биологические исследования.
English
The rapid evolution of large language models (LLMs) has expanded their capabilities from basic dialogue to advanced scientific reasoning. However, existing benchmarks in biology often fail to assess a critical skill required of researchers: the ability to integrate experimental results with contextual knowledge to derive meaningful conclusions. To address this gap, we introduce BABE(Biology Arena BEnchmark), a comprehensive benchmark designed to evaluate the experimental reasoning capabilities of biological AI systems. BABE is uniquely constructed from peer-reviewed research papers and real-world biological studies, ensuring that tasks reflect the complexity and interdisciplinary nature of actual scientific inquiry. BABE challenges models to perform causal reasoning and cross-scale inference. Our benchmark provides a robust framework for assessing how well AI systems can reason like practicing scientists, offering a more authentic measure of their potential to contribute to biological research.