AGORA: Een archiefgebaseerde benchmark voor agentisch redeneren over werkplekdocumenten

Samenvatting

Grote taalmodellen worden steeds vaker ingezet als agenten die redeneren op basis van documenten in plaats van antwoorden te geven op basis van parametrische kennis. Wij bestuderen archief-gefundeerd redeneren: het lokaliseren van schaarse bewijsstukken in een grote, rommelige verzameling werkplekbestanden, het verzoenen van inconsistente terminologie, eenheden en tijdsconventies, en het berekenen van een antwoord. Bestaande benchmarks bestrijken slechts delen van deze setting en geen enkele legt gezamenlijk de nadruk op archief-gefundeerdheid, agentische exploratie en cross-domein dekking. Wij introduceren Agora, een benchmark die 362 vragen koppelt aan acht domeincollecties van 9.664 authentieke documenten en 372M tokens, veruit groter dan het contextvenster van enig model, zodat agenten doelbewust moeten verkennen in plaats van uitputtend te scannen. Agora is gebouwd door een agentische pijplijn die cross-document taaksynthese, lekkage-voorkomende obfuscatie en moeilijkheidsfiltering combineert. Bij het evalueren van acht modellen blijkt de taak verre van opgelost: zelfs het sterkste model haalt slechts 59,4% nauwkeurigheid, met opmerkelijke variatie tussen domeinen.

English

Large language models are increasingly deployed as agents that reason over documents rather than answer from parametric knowledge. We study archive-grounded reasoning: locating sparse evidence across a large, messy collection of workplace files, reconciling inconsistent terminology, units, and time conventions, and computing an answer. Existing benchmarks address only parts of this setting and none jointly stresses archive-groundedness, agentic exploration, and cross-domain coverage. We introduce Agora, a benchmark pairing 362 questions with eight domain collections of 9,664 authentic documents and 372M tokens, far exceeding any model's context window, so agents must explore deliberately rather than scan exhaustively. Agora is built by an agentic pipeline combining cross-document task synthesis, leakage-preventing obfuscation, and difficulty filtering. Evaluating eight models, we find the task far from solved: even the strongest reaches only 59.4% accuracy, with notable variation across domains.