OfficeQA Pro: Корпоративный эталон комплексного обоснованного логического вывода
OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning
March 9, 2026
Авторы: Krista Opsahl-Ong, Arnav Singhvi, Jasmine Collins, Ivan Zhou, Cindy Wang, Ashutosh Baheti, Owen Oertell, Jacob Portes, Sam Havens, Erich Elsen, Michael Bendersky, Matei Zaharia, Xing Chen
cs.AI
Аннотация
Мы представляем OfficeQA Pro — эталонный тест для оценки ИИ-агентов на основе обоснованных рассуждений по множеству документов в рамках большого и гетерогенного корпуса документов. Корпус состоит из бюллетеней Министерства финансов США за почти 100 лет, включающих 89 000 страниц и более 26 миллионов числовых значений. OfficeQA Pro содержит 133 вопроса, требующих точного парсинга документов, поиска и аналитических рассуждений как по неструктурированному тексту, так и по табличным данным. Передовые большие языковые модели, включая Claude Opus 4.6, GPT-5.4 и Gemini 3.1 Pro Preview, демонстрируют точность менее 5% на OfficeQA Pro при использовании параметрических знаний и менее 12% при дополнительном доступе к интернету. Даже при прямом доступе к корпусу документов передовые агенты испытывают трудности более чем с половиной вопросов, показывая средний результат 34,1%. Мы установили, что предоставление агентам структурированного представления документов, созданного с помощью Databricks ai_parse_document, дает средний относительный прирост производительности 16,1% для различных агентов. Мы провели дополнительные абляционные исследования для изучения влияния выбора модели, представления таблиц, стратегии поиска и масштабирования на этапе тестирования на производительность. Несмотря на эти улучшения, до достижения агентами надежности в корпоративных задачах обоснованных рассуждений остается значительный потенциал для роста.
English
We introduce OfficeQA Pro, a benchmark for evaluating AI agents on grounded, multi-document reasoning over a large and heterogeneous document corpus. The corpus consists of U.S. Treasury Bulletins spanning nearly 100 years, comprising 89,000 pages and over 26 million numerical values. OfficeQA Pro consists of 133 questions that require precise document parsing, retrieval, and analytical reasoning across both unstructured text and tabular data. Frontier LLMs including Claude Opus 4.6, GPT-5.4, and Gemini 3.1 Pro Preview achieve less than 5% accuracy on OfficeQA Pro when relying on parametric knowledge, and less than 12% with additional access to the web. When provided directly with the document corpus, frontier agents still struggle on over half of questions, scoring 34.1% on average. We find that providing agents with a structured document representation produced by Databricks' ai_parse_document yields a 16.1% average relative performance gain across agents. We conduct additional ablations to study the effects of model selection, table representation, retrieval strategy, and test-time scaling on performance. Despite these improvements, significant headroom remains before agents can be considered reliable at enterprise-grade grounded reasoning.