CODA-BENCH: Могут ли кодовые агенты справляться с задачами, интенсивно использующими данные?

Аннотация

Продвинутые агенты всё чаще демонстрируют потенциал для работы в качестве автономных инженеров, что создаёт растущий спрос на оценочные бенчмарки, отражающие сложность реальной разработки. Такие среды обычно включают как сложный код, так и крупномасштабные данные (например, файловую систему). Однако существующие бенчмарки, как правило, оценивают кодоцентричные или датацентричные способности изолированно, оставляя явный разрыв с реальными сценариями разработки. В данной статье мы устраняем этот пробел, представляя CODA-BENCH — первый бенчмарк, который совместно оценивает интеллектуальные способности в работе с кодом и данными в среде с интенсивным использованием данных. Мы создали изолированную среду Linux, интенсивно использующую данные на основе экосистемы Kaggle (содержащую сотни наборов данных), где агенты должны активно исследовать сложные файловые иерархии для выявления релевантных ресурсов и генерировать код для задач аналитики, основанной на данных. CODA-BENCH включает 1009 задач, охватывающих 31 сообщество, при этом каждая среда задачи содержит в среднем 980 файлов, что имитирует реалистичный масштаб данных и шум. Оценки продвинутых агентов показывают, что даже наиболее эффективные системы с трудом интегрируют обнаружение данных с выполнением кода, достигая лишь 61,1% успешности. Эти результаты подчёркивают существенный разрыв в текущих агентных возможностях для задач с интенсивным использованием данных и указывают на перспективные направления будущих исследований.

English

Advanced agents are increasingly demonstrating the potential to operate as autonomous engineers, creating a growing demand for evaluation benchmarks that capture the complexity of real-world development. Such environments typically involve both complex code and large-scale data (i.e., file system). However, existing benchmarks usually evaluate code-centric or data-centric capabilities in isolation, leaving a clear gap with real development scenarios. In this paper, we bridge this gap by introducing CODA-BENCH, the first benchmark to jointly evaluate code and data intelligence in a data-intensive environment. We construct a data-intensive Linux sandbox based on the Kaggle ecosystem (containing hundreds of datasets), where agents must actively explore complex file hierarchies to identify relevant resources and generate code for data-driven analytical tasks. CODA-BENCH comprises 1,009 tasks spanning 31 communities, with each task environment containing an average of 980 files, simulating realistic data scale and noise. Evaluations of advanced agents reveal that even top-performing systems struggle to effectively integrate data discovery with code execution, achieving a success rate of only 61.1%. These results highlight a substantial gap in current agentic capabilities for data-intensive tasks and point to promising directions for future research.