Бенчмаркинг ИИ-агентов для решения научных задач в различных масштабах

Аннотация

Агенты искусственного интеллекта все активнее разрабатываются для ускорения научных открытий, однако их практические возможности в реальных исследовательских условиях остаются плохо изученными. Существующие бенчмарки для агентов ИИ редко учитывают сложность, разнородность и длительные рассуждения, необходимые для научной работы, тогда как бенчмарки для научных задач часто сводят исследование к статическим, прямым задачам и предоставляют ограниченную поддержку для интерактивной оценки. Здесь мы представляем SciAgentArena — систематический бенчмарк для оценки агентов ИИ в реальных сценариях научных исследований, основанный на возникающих потребностях в различных областях. SciAgentArena включает примерно 200 задач с пошаговой верификацией и интерактивную, не зависящую от агентов среду для оценки различных агентов ИИ. Используя этот бенчмарк, мы обнаружили, что современные агенты могут эффективно вносить вклад в четко определенные рабочие процессы анализа данных, особенно когда структура задачи и критерии оценки ясны. Однако их производительность остается неравномерной в разных научных контекстах: агенты с трудом генерируют по-настоящему новые идеи, поддерживают самостоятельное исследование и формулируют надежные решения для открытых исследовательских вопросов. Мы также характеризуем общие типы сбоев у агентов и определяем возможности для повышения их надежности, автономии и научного мышления. В совокупности SciAgentArena предоставляет практическую основу для измерения прогресса в области агентов ИИ для науки и для руководства разработкой будущих агентов, способных решать сложные научные задачи. Полные коды, задачи и наборы данных доступны по ссылке: https://sciagentarena.github.io/.

English

AI agents are increasingly being developed to accelerate scientific discovery, yet their practical capabilities in real research settings remain poorly understood. Existing benchmarks for AI agents rarely capture the complexity, heterogeneity, and extended reasoning required by scientific work, whereas benchmarks for scientific tasks often reduce research to static, direct problems and provide limited support for interactive evaluation. Here, we introduce SciAgentArena, a systematic benchmark for evaluating AI agents in real-world scientific research scenarios drawn from emerging needs across multiple domains. SciAgentArena comprises approximately 200 tasks with stepwise verification and an interactive, agent-agnostic environment for assessing diverse AI agents. Using this benchmark, we find that current agents can contribute effectively to well-specified data-analysis workflows, particularly when the task structure and evaluation criteria are clear. However, their performance remains uneven across scientific contexts: agents struggle to generate genuinely novel insights, sustain self-directed exploration, and formulate robust solutions for open-ended research questions. We further characterize common failure modes across agents and identify opportunities for improving their reliability, autonomy, and scientific reasoning. Together, SciAgentArena provides a practical framework for measuring progress in AI agents for science and for guiding the design of future agents capable of addressing complex scientific challenges. Full codes, tasks, and datasets can be accessed via this link: https://sciagentarena.github.io/.