Jagen in plaats van wachten: Evaluatie van diepgaand data-onderzoek bij grote taalmodellen

Hunt Instead of Wait: Evaluating Deep Data Research on Large Language Models

February 2, 2026

Auteurs: Wei Liu, Peijie Yu, Michele Orini, Yali Du, Yulan He

cs.AI

Samenvatting

De agency die wordt verwacht van Agentic Large Language Models gaat verder dan correct antwoorden; het vereist autonomie om doelen te stellen en te beslissen wat onderzocht moet worden. Wij noemen dit onderzoekende intelligentie, ter onderscheiding van uitvoerende intelligentie, die slechts toegewezen taken voltooit. Data Science biedt een natuurlijke testomgeving, omdat real-world analyse begint met ruwe data in plaats van expliciete vragen, maar er zijn weinig benchmarks die zich hierop richten. Om dit aan te pakken, introduceren we Deep Data Research (DDR), een open-ended taak waarbij LLM's zelfstandig belangrijke inzichten uit databases halen, en DDR-Bench, een grootschalige, checklist-gebaseerde benchmark die een verifieerbare evaluatie mogelijk maakt. Resultaten tonen aan dat hoewel frontier-modellen opkomende agency vertonen, verkenning op lange termijn een uitdaging blijft. Onze analyse benadrukt dat effectieve onderzoekende intelligentie niet alleen afhangt van agent-scaffolding of simpelweg schaalvergroting, maar ook van de intrinsieke strategieën van agentic modellen.

English

The agency expected of Agentic Large Language Models goes beyond answering correctly, requiring autonomy to set goals and decide what to explore. We term this investigatory intelligence, distinguishing it from executional intelligence, which merely completes assigned tasks. Data Science provides a natural testbed, as real-world analysis starts from raw data rather than explicit queries, yet few benchmarks focus on it. To address this, we introduce Deep Data Research (DDR), an open-ended task where LLMs autonomously extract key insights from databases, and DDR-Bench, a large-scale, checklist-based benchmark that enables verifiable evaluation. Results show that while frontier models display emerging agency, long-horizon exploration remains challenging. Our analysis highlights that effective investigatory intelligence depends not only on agent scaffolding or merely scaling, but also on intrinsic strategies of agentic models.