OfficeQA Pro : Un benchmark d'entreprise pour le raisonnement ancré de bout en bout
OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning
March 9, 2026
Auteurs: Krista Opsahl-Ong, Arnav Singhvi, Jasmine Collins, Ivan Zhou, Cindy Wang, Ashutosh Baheti, Owen Oertell, Jacob Portes, Sam Havens, Erich Elsen, Michael Bendersky, Matei Zaharia, Xing Chen
cs.AI
Résumé
Nous présentons OfficeQA Pro, un benchmark pour évaluer les agents d'IA sur le raisonnement ancré multi-document à partir d'un vaste corpus hétérogène. Ce corpus est constitué de bulletins du Trésor américain couvrant près de 100 ans, comprenant 89 000 pages et plus de 26 millions de valeurs numériques. OfficeQA Pro comprend 133 questions qui nécessitent un analyse précise des documents, un système de retrieval et un raisonnement analytique sur des données textuelles non structurées et tabulaires. Les LLMs de pointe, incluant Claude Opus 4.6, GPT-5.4 et Gemini 3.1 Pro Preview, obtiennent une précision inférieure à 5% sur OfficeQA Pro en s'appuyant uniquement sur leur connaissance paramétrique, et moins de 12% avec un accès supplémentaire au web. Même en ayant un accès direct au corpus documentaire, ces agents éprouvent des difficultés sur plus de la moitié des questions, obtenant un score moyen de 34,1%. Nous constatons que fournir aux agents une représentation structurée des documents générée par la fonction `ai_parse_document` de Databricks améliore leurs performances relatives de 16,1% en moyenne. Nous menons des études d'ablation supplémentaires pour analyser les effets de la sélection du modèle, de la représentation des tableaux, de la stratégie de retrieval et du scaling au moment du test sur les performances. Malgré ces améliorations, des progrès significatifs restent à accomplir avant que les agents puissent être considérés comme fiables pour un raisonnement ancré de niveau professionnel.
English
We introduce OfficeQA Pro, a benchmark for evaluating AI agents on grounded, multi-document reasoning over a large and heterogeneous document corpus. The corpus consists of U.S. Treasury Bulletins spanning nearly 100 years, comprising 89,000 pages and over 26 million numerical values. OfficeQA Pro consists of 133 questions that require precise document parsing, retrieval, and analytical reasoning across both unstructured text and tabular data. Frontier LLMs including Claude Opus 4.6, GPT-5.4, and Gemini 3.1 Pro Preview achieve less than 5% accuracy on OfficeQA Pro when relying on parametric knowledge, and less than 12% with additional access to the web. When provided directly with the document corpus, frontier agents still struggle on over half of questions, scoring 34.1% on average. We find that providing agents with a structured document representation produced by Databricks' ai_parse_document yields a 16.1% average relative performance gain across agents. We conduct additional ablations to study the effects of model selection, table representation, retrieval strategy, and test-time scaling on performance. Despite these improvements, significant headroom remains before agents can be considered reliable at enterprise-grade grounded reasoning.