OfficeQA Pro: Um Benchmark Empresarial para Raciocínio Fundamentado de Ponta a Ponta
OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning
March 9, 2026
Autores: Krista Opsahl-Ong, Arnav Singhvi, Jasmine Collins, Ivan Zhou, Cindy Wang, Ashutosh Baheti, Owen Oertell, Jacob Portes, Sam Havens, Erich Elsen, Michael Bendersky, Matei Zaharia, Xing Chen
cs.AI
Resumo
Apresentamos o OfficeQA Pro, um benchmark para avaliar agentes de IA em tarefas de raciocínio fundamentado e multidocumental sobre um corpus documental extenso e heterogêneo. O corpus é composto por *U.S. Treasury Bulletins* abrangendo quase 100 anos, totalizando 89.000 páginas e mais de 26 milhões de valores numéricos. O OfficeQA Pro consiste em 133 questões que exigem análise documental precisa, recuperação de informação e raciocínio analítico sobre dados não estruturados em texto e dados tabulares. Modelos de linguagem de última geração, incluindo Claude Opus 4.6, GPT-5.4 e Gemini 3.1 Pro Preview, atingem menos de 5% de precisão no OfficeQA Pro ao depender apenas do conhecimento paramétrico, e menos de 12% com acesso adicional à web. Quando o corpus documental é fornecido diretamente, os agentes de ponta ainda têm dificuldade em mais da metade das questões, alcançando uma pontuação média de 34,1%. Verificamos que fornecer aos agentes uma representação documental estruturada, produzida pela função `ai_parse_document` da Databricks, resulta em um ganho médio de desempenho relativo de 16,1% entre os agentes. Realizamos ainda *ablations* adicionais para estudar os efeitos da seleção do modelo, da representação de tabelas, da estratégia de recuperação e do *scaling* no momento do teste sobre o desempenho. Apesar dessas melhorias, ainda há um espaço significativo de evolução antes que os agentes possam ser considerados confiáveis para raciocínio fundamentado em nível empresarial.
English
We introduce OfficeQA Pro, a benchmark for evaluating AI agents on grounded, multi-document reasoning over a large and heterogeneous document corpus. The corpus consists of U.S. Treasury Bulletins spanning nearly 100 years, comprising 89,000 pages and over 26 million numerical values. OfficeQA Pro consists of 133 questions that require precise document parsing, retrieval, and analytical reasoning across both unstructured text and tabular data. Frontier LLMs including Claude Opus 4.6, GPT-5.4, and Gemini 3.1 Pro Preview achieve less than 5% accuracy on OfficeQA Pro when relying on parametric knowledge, and less than 12% with additional access to the web. When provided directly with the document corpus, frontier agents still struggle on over half of questions, scoring 34.1% on average. We find that providing agents with a structured document representation produced by Databricks' ai_parse_document yields a 16.1% average relative performance gain across agents. We conduct additional ablations to study the effects of model selection, table representation, retrieval strategy, and test-time scaling on performance. Despite these improvements, significant headroom remains before agents can be considered reliable at enterprise-grade grounded reasoning.