CODA-BENCH: Können Code-Agenten datenintensive Aufgaben bewältigen?

Zusammenfassung

Fortschrittliche Agenten zeigen zunehmend ihr Potenzial, als autonome Ingenieure zu agieren, was eine wachsende Nachfrage nach Evaluations-Benchmarks schafft, die die Komplexität realer Entwicklungsabläufe abbilden. Solche Umgebungen umfassen typischerweise sowohl komplexen Code als auch große Datenmengen (d. h. ein Dateisystem). Bestehende Benchmarks bewerten jedoch oft codezentrierte oder datenzentrierte Fähigkeiten isoliert, sodass eine deutliche Lücke zu realen Entwicklungsszenarien besteht. In dieser Arbeit schließen wir diese Lücke durch die Einführung von CODA-BENCH, dem ersten Benchmark, der Code- und Datenintelligenz gemeinsam in einer datenintensiven Umgebung evaluiert. Wir konstruieren eine datenintensive Linux-Sandbox auf Basis des Kaggle-Ökosystems (das Hunderte von Datensätzen enthält), in der Agenten aktiv komplexe Dateihierarchien durchsuchen müssen, um relevante Ressourcen zu identifizieren und Code für datengetriebene Analyseaufgaben zu generieren. CODA-BENCH umfasst 1.009 Aufgaben aus 31 Communitys, wobei jede Aufgabenumgebung durchschnittlich 980 Dateien enthält und so realistische Datengrößen und -rauschen simuliert. Evaluierungen fortgeschrittener Agenten zeigen, dass selbst leistungsstarke Systeme Schwierigkeiten haben, Datenentdeckung und Codeausführung effektiv zu integrieren, und lediglich eine Erfolgsrate von 61,1 % erreichen. Diese Ergebnisse verdeutlichen eine erhebliche Lücke in den derzeitigen Agentenfähigkeiten für datenintensive Aufgaben und weisen auf vielversprechende Richtungen für zukünftige Forschung hin.

English

Advanced agents are increasingly demonstrating the potential to operate as autonomous engineers, creating a growing demand for evaluation benchmarks that capture the complexity of real-world development. Such environments typically involve both complex code and large-scale data (i.e., file system). However, existing benchmarks usually evaluate code-centric or data-centric capabilities in isolation, leaving a clear gap with real development scenarios. In this paper, we bridge this gap by introducing CODA-BENCH, the first benchmark to jointly evaluate code and data intelligence in a data-intensive environment. We construct a data-intensive Linux sandbox based on the Kaggle ecosystem (containing hundreds of datasets), where agents must actively explore complex file hierarchies to identify relevant resources and generate code for data-driven analytical tasks. CODA-BENCH comprises 1,009 tasks spanning 31 communities, with each task environment containing an average of 980 files, simulating realistic data scale and noise. Evaluations of advanced agents reveal that even top-performing systems struggle to effectively integrate data discovery with code execution, achieving a success rate of only 61.1%. These results highlight a substantial gap in current agentic capabilities for data-intensive tasks and point to promising directions for future research.