OfficeQA Pro: Een Ondernemingsbenchmark voor End-to-End Gegronde Redenering
OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning
March 9, 2026
Auteurs: Krista Opsahl-Ong, Arnav Singhvi, Jasmine Collins, Ivan Zhou, Cindy Wang, Ashutosh Baheti, Owen Oertell, Jacob Portes, Sam Havens, Erich Elsen, Michael Bendersky, Matei Zaharia, Xing Chen
cs.AI
Samenvatting
Wij introduceren OfficeQA Pro, een benchmark voor het evalueren van AI-agenten op gegronde, multi-document redeneervaardigheden over een grote en heterogene documentencollectie. De collectie bestaat uit U.S. Treasury Bulletins die bijna 100 jaar beslaan, bestaande uit 89.000 pagina's en meer dan 26 miljoen numerieke waarden. OfficeQA Pro omvat 133 vragen die nauwkeurige documentparsing, retrieval en analytisch redeneren vereisen over zowel ongestructureerde tekst als tabelgegevens. Toonaangevende grote taalmodellen (LLM's), waaronder Claude Opus 4.6, GPT-5.4 en Gemini 3.1 Pro Preview, behalen een nauwkeurigheid van minder dan 5% op OfficeQA Pro wanneer zij vertrouwen op parametrische kennis, en minder dan 12% met aanvullende toegang tot het web. Zelfs wanneer zij rechtstreeks toegang krijgen tot de documentencollectie, hebben toonaangevende agenten nog steeds moeite met meer dan de helft van de vragen en scoren zij gemiddeld 34,1%. Wij constateren dat het verstrekken van een gestructureerde documentrepresentatie, gegenereerd door Databricks' ai_parse_document, een gemiddelde relatieve prestatieverbetering van 16,1% oplevert across agenten. Wij voeren aanvullende ablatiestudies uit om de effecten te onderzoeken van modelselectie, tabelrepresentatie, retrievalstrategie en test-time scaling op de prestaties. Ondanks deze verbeteringen blijft er een aanzienlijke marge over voordat agenten als betrouwbaar kunnen worden beschouwd voor gegronde redeneertaken op ondernemingsniveau.
English
We introduce OfficeQA Pro, a benchmark for evaluating AI agents on grounded, multi-document reasoning over a large and heterogeneous document corpus. The corpus consists of U.S. Treasury Bulletins spanning nearly 100 years, comprising 89,000 pages and over 26 million numerical values. OfficeQA Pro consists of 133 questions that require precise document parsing, retrieval, and analytical reasoning across both unstructured text and tabular data. Frontier LLMs including Claude Opus 4.6, GPT-5.4, and Gemini 3.1 Pro Preview achieve less than 5% accuracy on OfficeQA Pro when relying on parametric knowledge, and less than 12% with additional access to the web. When provided directly with the document corpus, frontier agents still struggle on over half of questions, scoring 34.1% on average. We find that providing agents with a structured document representation produced by Databricks' ai_parse_document yields a 16.1% average relative performance gain across agents. We conduct additional ablations to study the effects of model selection, table representation, retrieval strategy, and test-time scaling on performance. Despite these improvements, significant headroom remains before agents can be considered reliable at enterprise-grade grounded reasoning.