Finch: Avaliação de Finanças e Contabilidade em Fluxos de Trabalho Empresariais Centrados em Planilhas
Finch: Benchmarking Finance & Accounting across Spreadsheet-Centric Enterprise Workflows
December 15, 2025
Autores: Haoyu Dong, Pengkun Zhang, Yan Gao, Xuanyu Dong, Yilin Cheng, Mingzhe Lu, Adina Yakefu, Shuxin Zheng
cs.AI
Resumo
Apresentamos um benchmark de finanças e contabilidade (Finch) para avaliar agentes de IA em fluxos de trabalho profissionais reais de nível empresarial — que intercalam entrada, estruturação e formatação de dados, pesquisa na web, recuperação de arquivos cruzados, cálculo, modelagem, validação, tradução, visualização e relatórios. O Finch é originado de espaços de trabalho empresariais autênticos da Enron (15.000 planilhas e 500.000 e-mails de 150 funcionários) e de outras instituições financeiras, preservando a desorganização característica de ambientes reais em artefatos multimodais (texto, tabelas, fórmulas, gráficos, código e imagens) e abrangendo domínios diversos, como orçamento, trading e gestão de ativos.
Propomos um processo de construção de fluxo de trabalho que combina descoberta assistida por LLM com anotação especializada: (1) derivação de fluxos de trabalho a partir de threads de e-mail reais e históricos de versão de arquivos de planilha, assistida por LLM e verificada por especialistas, e (2) meticulosa anotação especializada para fluxos de trabalho, exigindo mais de 700 horas de esforço de especialistas do domínio. Isso resulta em 172 fluxos de trabalho compostos com 384 tarefas, envolvendo 1.710 planilhas com 27 milhões de células, além de PDFs e outros artefatos, capturando a natureza intrinsecamente desorganizada, de longo prazo, intensiva em conhecimento e colaborativa do trabalho empresarial real.
Realizamos avaliações humanas e automatizadas de sistemas de IA de fronteira, incluindo GPT 5.1, Claude Sonnet 4.5, Gemini 3 Pro, Grok 4 e Qwen 3 Max. O GPT 5.1 Pro gasta 48 horas no total, mas passa por apenas 38,4% dos fluxos de trabalho, enquanto o Claude Sonnet 4.5 passa por apenas 25,0%. Estudos de caso abrangentes revelam ainda os desafios que os fluxos de trabalho empresariais reais representam para os agentes de IA.
English
We introduce a finance & accounting benchmark (Finch) for evaluating AI agents on real-world, enterprise-grade professional workflows -- interleaving data entry, structuring, formatting, web search, cross-file retrieval, calculation, modeling, validation, translation, visualization, and reporting. Finch is sourced from authentic enterprise workspaces at Enron (15,000 spreadsheets and 500,000 emails from 150 employees) and other financial institutions, preserving in-the-wild messiness across multimodal artifacts (text, tables, formulas, charts, code, and images) and spanning diverse domains such as budgeting, trading, and asset management.
We propose a workflow construction process that combines LLM-assisted discovery with expert annotation: (1) LLM-assisted, expert-verified derivation of workflows from real-world email threads and version histories of spreadsheet files, and (2) meticulous expert annotation for workflows, requiring over 700 hours of domain-expert effort. This yields 172 composite workflows with 384 tasks, involving 1,710 spreadsheets with 27 million cells, along with PDFs and other artifacts, capturing the intrinsically messy, long-horizon, knowledge-intensive, and collaborative nature of real-world enterprise work.
We conduct both human and automated evaluations of frontier AI systems including GPT 5.1, Claude Sonnet 4.5, Gemini 3 Pro, Grok 4, and Qwen 3 Max, and GPT 5.1 Pro spends 48 hours in total yet passes only 38.4% of workflows, while Claude Sonnet 4.5 passes just 25.0%. Comprehensive case studies further surface the challenges that real-world enterprise workflows pose for AI agents.