Cazar en lugar de esperar: Evaluación de la investigación de datos profundos en modelos de lenguaje extensos

Hunt Instead of Wait: Evaluating Deep Data Research on Large Language Models

February 2, 2026

Autores: Wei Liu, Peijie Yu, Michele Orini, Yali Du, Yulan He

cs.AI

Resumen

La agencia esperada de los Modelos de Lenguaje de Gran Tamaño Agentivos va más allá de responder correctamente, requiriendo autonomía para establecer objetivos y decidir qué explorar. Denominamos a esto inteligencia investigadora, distinguiéndola de la inteligencia ejecutora, que simplemente completa tareas asignadas. La Ciencia de Datos proporciona un campo de pruebas natural, ya que el análisis del mundo real parte de datos brutos en lugar de consultas explícitas, sin embargo, pocos puntos de referencia se centran en ello. Para abordar esto, presentamos Deep Data Research (DDR), una tarea abierta donde los LLMs extraen autónomamente información clave de bases de datos, y DDR-Bench, un punto de referencia a gran escala basado en listas de verificación que permite una evaluación verificable. Los resultados muestran que, si bien los modelos de vanguardia muestran una agencia emergente, la exploración de horizontes largos sigue siendo un desafío. Nuestro análisis destaca que la inteligencia investigadora efectiva depende no solo del andamiaje del agente o del mero escalamiento, sino también de las estrategias intrínsecas de los modelos agentivos.

English

The agency expected of Agentic Large Language Models goes beyond answering correctly, requiring autonomy to set goals and decide what to explore. We term this investigatory intelligence, distinguishing it from executional intelligence, which merely completes assigned tasks. Data Science provides a natural testbed, as real-world analysis starts from raw data rather than explicit queries, yet few benchmarks focus on it. To address this, we introduce Deep Data Research (DDR), an open-ended task where LLMs autonomously extract key insights from databases, and DDR-Bench, a large-scale, checklist-based benchmark that enables verifiable evaluation. Results show that while frontier models display emerging agency, long-horizon exploration remains challenging. Our analysis highlights that effective investigatory intelligence depends not only on agent scaffolding or merely scaling, but also on intrinsic strategies of agentic models.