CODA-BENCH: ¿Pueden los Agentes de Código Manejar Tareas Intensivas en Datos?

Resumen

Los agentes avanzados están demostrando cada vez más su potencial para operar como ingenieros autónomos, lo que genera una creciente demanda de puntos de referencia de evaluación que capturen la complejidad del desarrollo en el mundo real. Dichos entornos suelen implicar tanto código complejo como datos a gran escala (es decir, sistemas de archivos). Sin embargo, los benchmarks existentes generalmente evalúan capacidades centradas en el código o en los datos de forma aislada, lo que deja un claro vacío respecto a los escenarios reales de desarrollo. En este artículo, cerramos esta brecha introduciendo CODA-BENCH, el primer benchmark que evalúa conjuntamente la inteligencia de código y datos en un entorno intensivo en datos. Construimos un sandbox Linux intensivo en datos basado en el ecosistema Kaggle (que contiene cientos de conjuntos de datos), donde los agentes deben explorar activamente jerarquías de archivos complejas para identificar recursos relevantes y generar código para tareas analíticas basadas en datos. CODA-BENCH comprende 1,009 tareas distribuidas en 31 comunidades, con un entorno de tarea que contiene un promedio de 980 archivos, simulando la escala y el ruido de datos reales. Las evaluaciones de agentes avanzados revelan que incluso los sistemas de mejor rendimiento tienen dificultades para integrar eficazmente el descubrimiento de datos con la ejecución de código, logrando una tasa de éxito de solo el 61.1%. Estos resultados destacan una brecha sustancial en las capacidades actuales de los agentes para tareas intensivas en datos y señalan direcciones prometedoras para futuras investigaciones.

English

Advanced agents are increasingly demonstrating the potential to operate as autonomous engineers, creating a growing demand for evaluation benchmarks that capture the complexity of real-world development. Such environments typically involve both complex code and large-scale data (i.e., file system). However, existing benchmarks usually evaluate code-centric or data-centric capabilities in isolation, leaving a clear gap with real development scenarios. In this paper, we bridge this gap by introducing CODA-BENCH, the first benchmark to jointly evaluate code and data intelligence in a data-intensive environment. We construct a data-intensive Linux sandbox based on the Kaggle ecosystem (containing hundreds of datasets), where agents must actively explore complex file hierarchies to identify relevant resources and generate code for data-driven analytical tasks. CODA-BENCH comprises 1,009 tasks spanning 31 communities, with each task environment containing an average of 980 files, simulating realistic data scale and noise. Evaluations of advanced agents reveal that even top-performing systems struggle to effectively integrate data discovery with code execution, achieving a success rate of only 61.1%. These results highlight a substantial gap in current agentic capabilities for data-intensive tasks and point to promising directions for future research.