CODA-BENCH: Conseguem Agentes de Código Lidar com Tarefas Intensivas em Dados?

Resumo

Agentes avançados demonstram cada vez mais potencial para atuarem como engenheiros autônomos, gerando uma demanda crescente por benchmarks de avaliação que capturem a complexidade do desenvolvimento no mundo real. Tais ambientes tipicamente envolvem tanto código complexo quanto dados em larga escala (isto é, sistema de arquivos). No entanto, benchmarks existentes geralmente avaliam capacidades focadas em código ou focadas em dados de forma isolada, deixando uma lacuna clara com cenários reais de desenvolvimento. Neste artigo, preenchemos essa lacuna ao apresentar o CODA-BENCH, o primeiro benchmark a avaliar conjuntamente inteligência de código e de dados em um ambiente de uso intensivo de dados. Construímos uma sandbox Linux de uso intensivo de dados baseada no ecossistema Kaggle (contendo centenas de conjuntos de dados), onde agentes devem explorar ativamente hierarquias de arquivos complexas para identificar recursos relevantes e gerar código para tarefas analíticas orientadas a dados. O CODA-BENCH compreende 1.009 tarefas abrangendo 31 comunidades, com cada ambiente de tarefa contendo em média 980 arquivos, simulando escala e ruído realistas de dados. Avaliações de agentes avançados revelam que até mesmo sistemas de alto desempenho têm dificuldade em integrar efetivamente a descoberta de dados com a execução de código, alcançando uma taxa de sucesso de apenas 61,1%. Esses resultados destacam uma lacuna substancial nas capacidades atuais de agentes para tarefas intensivas em dados e apontam para direções promissoras para pesquisas futuras.

English

Advanced agents are increasingly demonstrating the potential to operate as autonomous engineers, creating a growing demand for evaluation benchmarks that capture the complexity of real-world development. Such environments typically involve both complex code and large-scale data (i.e., file system). However, existing benchmarks usually evaluate code-centric or data-centric capabilities in isolation, leaving a clear gap with real development scenarios. In this paper, we bridge this gap by introducing CODA-BENCH, the first benchmark to jointly evaluate code and data intelligence in a data-intensive environment. We construct a data-intensive Linux sandbox based on the Kaggle ecosystem (containing hundreds of datasets), where agents must actively explore complex file hierarchies to identify relevant resources and generate code for data-driven analytical tasks. CODA-BENCH comprises 1,009 tasks spanning 31 communities, with each task environment containing an average of 980 files, simulating realistic data scale and noise. Evaluations of advanced agents reveal that even top-performing systems struggle to effectively integrate data discovery with code execution, achieving a success rate of only 61.1%. These results highlight a substantial gap in current agentic capabilities for data-intensive tasks and point to promising directions for future research.