CODA-BENCH: Kunnen code-agenten data-intensieve taken aan?

Samenvatting

Geavanceerde agenten tonen steeds vaker het vermogen om als autonome ingenieurs te opereren, wat leidt tot een groeiende vraag naar evaluatiebenchmarks die de complexiteit van echte ontwikkelomgevingen weerspiegelen. Dergelijke omgevingen omvatten doorgaans zowel complexe code als grootschalige data (bijv. bestandssystemen). Bestaande benchmarks evalueren echter meestal codegerichte of datagerichte capaciteiten afzonderlijk, waardoor er een duidelijke kloof is met reële ontwikkelscenario's. In dit artikel overbruggen we deze kloof door CODA-BENCH te introduceren, de eerste benchmark die code- en data-intelligentie gezamenlijk evalueert in een data-intensieve omgeving. We bouwen een data-intensieve Linux-sandbox op basis van het Kaggle-ecosysteem (met honderden datasets), waarin agenten actief complexe bestandshiërarchieën moeten verkennen om relevante bronnen te identificeren en code te genereren voor data-gedreven analytische taken. CODA-BENCH omvat 1.009 taken uit 31 gemeenschappen, waarbij elke taakomgeving gemiddeld 980 bestanden bevat, wat realistische dataschaal en ruis simuleert. Evaluaties van geavanceerde agenten tonen aan dat zelfs toppresterende systemen moeite hebben om gegevensontdekking effectief te integreren met code-uitvoering, met een succespercentage van slechts 61,1%. Deze resultaten benadrukken een substantiële kloof in de huidige agentcapaciteiten voor data-intensieve taken en wijzen op veelbelovende richtingen voor toekomstig onderzoek.

English

Advanced agents are increasingly demonstrating the potential to operate as autonomous engineers, creating a growing demand for evaluation benchmarks that capture the complexity of real-world development. Such environments typically involve both complex code and large-scale data (i.e., file system). However, existing benchmarks usually evaluate code-centric or data-centric capabilities in isolation, leaving a clear gap with real development scenarios. In this paper, we bridge this gap by introducing CODA-BENCH, the first benchmark to jointly evaluate code and data intelligence in a data-intensive environment. We construct a data-intensive Linux sandbox based on the Kaggle ecosystem (containing hundreds of datasets), where agents must actively explore complex file hierarchies to identify relevant resources and generate code for data-driven analytical tasks. CODA-BENCH comprises 1,009 tasks spanning 31 communities, with each task environment containing an average of 980 files, simulating realistic data scale and noise. Evaluations of advanced agents reveal that even top-performing systems struggle to effectively integrate data discovery with code execution, achieving a success rate of only 61.1%. These results highlight a substantial gap in current agentic capabilities for data-intensive tasks and point to promising directions for future research.