DSAEval: Оценка агентов в области науки о данных на широком спектре практических задач

DSAEval: Evaluating Data Science Agents on a Wide Range of Real-World Data Science Problems

January 20, 2026

Авторы: Maojun Sun, Yifei Xie, Yue Wu, Ruijian Han, Binyan Jiang, Defeng Sun, Yancheng Yuan, Jian Huang

cs.AI

Аннотация

Современные агенты на основе больших языковых моделей (LLM) стремятся автоматизировать задачи науки о данных — от анализа данных до глубокого обучения. Однако открытый характер реальных проблем в этой области, которые часто охватывают несколько таксономий и не имеют стандартных решений, создает серьезные трудности для оценки. Для решения этой проблемы мы представляем DSAEval — эталонный набор, включающий 641 реальную задачу из 285 разнообразных наборов данных, охватывающих как структурированные, так и неструктурированные данные (например, изображения и текст). DSAEval обладает тремя ключевыми особенностями: (1) мультимодальное восприятие среды, позволяющее агентам интерпретировать наблюдения из различных модальностей, включая текст и изображения; (2) многоэтапные интерактивные запросы, отражающие итеративную и кумулятивную природу реальных проектов по анализу данных; и (3) многомерная оценка, обеспечивающая комплексный анализ рассуждений, кода и результатов. Мы систематически оценили 11 продвинутых агентских LLM с помощью DSAEval. Результаты показывают, что Claude-Sonnet-4.5 демонстрирует наивысшую общую производительность, GPT-5.2 является наиболее эффективным по скорости, а MiMo-V2-Flash — наиболее экономичным. Кроме того, мы показываем, что мультимодальное восприятие consistently улучшает результаты при работе с задачами, связанными с изображениями, прирост составляет от 2,04% до 11,30%. В целом, хотя современные агенты успешно справляются со структурированными данными и рутинными рабочими процессами анализа, значительные трудности сохраняются при работе с неструктурированными доменами. В заключение мы предлагаем критические выводы и определяем перспективные направления для дальнейшего развития агентов в области науки о данных.

English

Recent LLM-based data agents aim to automate data science tasks ranging from data analysis to deep learning. However, the open-ended nature of real-world data science problems, which often span multiple taxonomies and lack standard answers, poses a significant challenge for evaluation. To address this, we introduce DSAEval, a benchmark comprising 641 real-world data science problems grounded in 285 diverse datasets, covering both structured and unstructured data (e.g., vision and text). DSAEval incorporates three distinctive features: (1) Multimodal Environment Perception, which enables agents to interpret observations from multiple modalities including text and vision; (2) Multi-Query Interactions, which mirror the iterative and cumulative nature of real-world data science projects; and (3) Multi-Dimensional Evaluation, which provides a holistic assessment across reasoning, code, and results. We systematically evaluate 11 advanced agentic LLMs using DSAEval. Our results show that Claude-Sonnet-4.5 achieves the strongest overall performance, GPT-5.2 is the most efficient, and MiMo-V2-Flash is the most cost-effective. We further demonstrate that multimodal perception consistently improves performance on vision-related tasks, with gains ranging from 2.04% to 11.30%. Overall, while current data science agents perform well on structured data and routine data anlysis workflows, substantial challenges remain in unstructured domains. Finally, we offer critical insights and outline future research directions to advance the development of data science agents.