OfficeQA Pro: エンドツーエンド接地推論のための企業向けベンチマーク

OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning

March 9, 2026

著者: Krista Opsahl-Ong, Arnav Singhvi, Jasmine Collins, Ivan Zhou, Cindy Wang, Ashutosh Baheti, Owen Oertell, Jacob Portes, Sam Havens, Erich Elsen, Michael Bendersky, Matei Zaharia, Xing Chen

cs.AI

要旨

我々はOfficeQA Proを紹介する。これは、大規模で多様な文書コーパスに対する、文書に基づいた（grounded）複数文書推論においてAIエージェントを評価するためのベンチマークである。コーパスは約100年にわたる米国財務省公報（U.S. Treasury Bulletins）で構成され、89,000ページ、2,600万を超える数値を含む。OfficeQA Proは、非構造化テキストと表形式データの両方にわたる、精密な文書解析、検索、分析的推論を必要とする133の質問から成る。Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro PreviewなどのフロンティアLLMは、パラメトリック知識のみに依存した場合、OfficeQA Proでの正解率が5%未満であり、ウェブへの追加アクセスがあっても12%未満である。文書コーパスを直接与えられた場合でも、フロンティアエージェントは質問の半数以上で困難を示し、平均スコアは34.1%であった。Databricksのai_parse_documentによって生成された構造化文書表現をエージェントに提供すると、エージェント間で平均16.1%の相対的性能向上が得られることがわかった。我々はさらに、モデル選択、表表現、検索戦略、テスト時スケーリングが性能に与える影響を調査するため、追加の ablation 実験を実施した。これらの改善にもかかわらず、エージェントが企業レベルの文書に基づく推論において信頼できると見なされるには、まだ大きな改善の余地が残されている。

English

We introduce OfficeQA Pro, a benchmark for evaluating AI agents on grounded, multi-document reasoning over a large and heterogeneous document corpus. The corpus consists of U.S. Treasury Bulletins spanning nearly 100 years, comprising 89,000 pages and over 26 million numerical values. OfficeQA Pro consists of 133 questions that require precise document parsing, retrieval, and analytical reasoning across both unstructured text and tabular data. Frontier LLMs including Claude Opus 4.6, GPT-5.4, and Gemini 3.1 Pro Preview achieve less than 5% accuracy on OfficeQA Pro when relying on parametric knowledge, and less than 12% with additional access to the web. When provided directly with the document corpus, frontier agents still struggle on over half of questions, scoring 34.1% on average. We find that providing agents with a structured document representation produced by Databricks' ai_parse_document yields a 16.1% average relative performance gain across agents. We conduct additional ablations to study the effects of model selection, table representation, retrieval strategy, and test-time scaling on performance. Despite these improvements, significant headroom remains before agents can be considered reliable at enterprise-grade grounded reasoning.