Jagen statt Warten: Eine Bewertung der Deep-Data-Forschung zu großen Sprachmodellen
Hunt Instead of Wait: Evaluating Deep Data Research on Large Language Models
February 2, 2026
papers.authors: Wei Liu, Peijie Yu, Michele Orini, Yali Du, Yulan He
cs.AI
papers.abstract
Die Handlungsfähigkeit agentiver großer Sprachmodelle geht über korrekte Antworten hinaus und erfordert Autonomie bei der Zielsetzung und Entscheidung über Untersuchungsgegenstände. Wir bezeichnen dies als investigative Intelligenz, die wir von exekutiver Intelligenz abgrenzen, die lediglich zugewiesene Aufgaben erledigt. Die Data Science bietet ein natürliches Testfeld, da reale Analysen mit Rohdaten beginnen statt mit expliziten Abfragen, doch wenige Benchmarks konzentrieren sich darauf. Um dies zu adressieren, führen wir Deep Data Research (DDR) ein – eine offene Aufgabe, bei der LLMs eigenständig zentrale Erkenntnisse aus Datenbanken extrahieren – sowie DDR-Bench, einen groß angelegten, checklistenbasierten Benchmark, der verifizierbare Evaluation ermöglicht. Ergebnisse zeigen, dass Spitzenmodelle zwar aufkeimende Handlungsfähigkeit demonstrieren, langfristige Exploration jedoch herausfordernd bleibt. Unsere Analyse unterstreicht, dass effektive investigative Intelligenz nicht nur von Agenten-Scaffolding oder bloßer Skalierung abhängt, sondern auch von intrinsischen Strategien agentiver Modelle.
English
The agency expected of Agentic Large Language Models goes beyond answering correctly, requiring autonomy to set goals and decide what to explore. We term this investigatory intelligence, distinguishing it from executional intelligence, which merely completes assigned tasks. Data Science provides a natural testbed, as real-world analysis starts from raw data rather than explicit queries, yet few benchmarks focus on it. To address this, we introduce Deep Data Research (DDR), an open-ended task where LLMs autonomously extract key insights from databases, and DDR-Bench, a large-scale, checklist-based benchmark that enables verifiable evaluation. Results show that while frontier models display emerging agency, long-horizon exploration remains challenging. Our analysis highlights that effective investigatory intelligence depends not only on agent scaffolding or merely scaling, but also on intrinsic strategies of agentic models.