CODA-BENCH : Les agents de code peuvent-ils gérer des tâches intensives en données ?

Résumé

Les agents avancés montrent de plus en plus leur capacité à fonctionner comme des ingénieurs autonomes, ce qui génère une demande croissante de bancs d’évaluation capables de capturer la complexité du développement réel. De tels environnements impliquent généralement à la fois du code complexe et des données à grande échelle (c’est-à-dire un système de fichiers). Cependant, les bancs d’évaluation existants évaluent le plus souvent les capacités centrées sur le code ou centrées sur les données de manière isolée, laissant un fossé évident avec les scénarios de développement réels. Dans cet article, nous comblons ce fossé en introduisant CODA-BENCH, le premier banc d’évaluation à évaluer conjointement l’intelligence liée au code et aux données dans un environnement intensif en données. Nous construisons un bac à sable Linux intensif en données basé sur l’écosystème Kaggle (contenant des centaines d’ensembles de données), où les agents doivent explorer activement des hiérarchies de fichiers complexes pour identifier les ressources pertinentes et générer du code pour des tâches analytiques pilotées par les données. CODA-BENCH comprend 1 009 tâches réparties dans 31 communautés, chaque environnement de tâche contenant en moyenne 980 fichiers, simulant ainsi l’échelle et le bruit réalistes des données. Les évaluations des agents avancés révèlent que même les systèmes les plus performants peinent à intégrer efficacement la découverte de données et l’exécution de code, avec un taux de succès de seulement 61,1 %. Ces résultats mettent en évidence un fossé considérable dans les capacités actuelles des agents pour les tâches intensives en données et indiquent des pistes prometteuses pour la recherche future.

English

Advanced agents are increasingly demonstrating the potential to operate as autonomous engineers, creating a growing demand for evaluation benchmarks that capture the complexity of real-world development. Such environments typically involve both complex code and large-scale data (i.e., file system). However, existing benchmarks usually evaluate code-centric or data-centric capabilities in isolation, leaving a clear gap with real development scenarios. In this paper, we bridge this gap by introducing CODA-BENCH, the first benchmark to jointly evaluate code and data intelligence in a data-intensive environment. We construct a data-intensive Linux sandbox based on the Kaggle ecosystem (containing hundreds of datasets), where agents must actively explore complex file hierarchies to identify relevant resources and generate code for data-driven analytical tasks. CODA-BENCH comprises 1,009 tasks spanning 31 communities, with each task environment containing an average of 980 files, simulating realistic data scale and noise. Evaluations of advanced agents reveal that even top-performing systems struggle to effectively integrate data discovery with code execution, achieving a success rate of only 61.1%. These results highlight a substantial gap in current agentic capabilities for data-intensive tasks and point to promising directions for future research.