Finch: Evaluación de Finanzas y Contabilidad en Flujos de Trabajo Empresariales Centrados en Hojas de Cálculo
Finch: Benchmarking Finance & Accounting across Spreadsheet-Centric Enterprise Workflows
December 15, 2025
Autores: Haoyu Dong, Pengkun Zhang, Yan Gao, Xuanyu Dong, Yilin Cheng, Mingzhe Lu, Adina Yakefu, Shuxin Zheng
cs.AI
Resumen
Presentamos un benchmark de finanzas y contabilidad (Finch) para evaluar agentes de IA en flujos de trabajo profesionales de grado empresarial y del mundo real, que entrelazan entrada de datos, estructuración, formateo, búsqueda web, recuperación entre archivos, cálculo, modelado, validación, traducción, visualización y generación de informes. Finch se obtiene de espacios de trabajo empresariales auténticos de Enron (15.000 hojas de cálculo y 500.000 correos electrónicos de 150 empleados) y otras instituciones financieras, preservando el desorden característico de entornos reales en artefactos multimodales (texto, tablas, fórmulas, gráficos, código e imágenes) y abarcando diversos dominios como la elaboración de presupuestos, la negociación bursátil y la gestión de activos.
Proponemos un proceso de construcción de flujos de trabajo que combina el descubrimiento asistido por LLM con anotación experta: (1) derivación de flujos de trabajo a partir de hilos de correo electrónico reales e historiales de versiones de archivos de hojas de cálculo, asistida por LLM y verificada por expertos, y (2) meticulosa anotación experta de los flujos de trabajo, que requirió más de 700 horas de esfuerzo de especialistas del dominio. Esto produce 172 flujos de trabajo compuestos con 384 tareas, que involucran 1.710 hojas de cálculo con 27 millones de celdas, junto con archivos PDF y otros artefactos, capturando la naturaleza intrínsecamente desordenada, de largo horizonte, intensiva en conocimiento y colaborativa del trabajo empresarial real.
Realizamos evaluaciones tanto humanas como automatizadas de sistemas de IA de vanguardia, incluyendo GPT 5.1, Claude Sonnet 4.5, Gemini 3 Pro, Grok 4 y Qwen 3 Max. GPT 5.1 Pro invierte 48 horas en total pero solo supera el 38,4% de los flujos de trabajo, mientras que Claude Sonnet 4.5 supera apenas el 25,0%. Estudios de caso exhaustivos revelan además los desafíos que los flujos de trabajo empresariales reales plantean para los agentes de IA.
English
We introduce a finance & accounting benchmark (Finch) for evaluating AI agents on real-world, enterprise-grade professional workflows -- interleaving data entry, structuring, formatting, web search, cross-file retrieval, calculation, modeling, validation, translation, visualization, and reporting. Finch is sourced from authentic enterprise workspaces at Enron (15,000 spreadsheets and 500,000 emails from 150 employees) and other financial institutions, preserving in-the-wild messiness across multimodal artifacts (text, tables, formulas, charts, code, and images) and spanning diverse domains such as budgeting, trading, and asset management.
We propose a workflow construction process that combines LLM-assisted discovery with expert annotation: (1) LLM-assisted, expert-verified derivation of workflows from real-world email threads and version histories of spreadsheet files, and (2) meticulous expert annotation for workflows, requiring over 700 hours of domain-expert effort. This yields 172 composite workflows with 384 tasks, involving 1,710 spreadsheets with 27 million cells, along with PDFs and other artifacts, capturing the intrinsically messy, long-horizon, knowledge-intensive, and collaborative nature of real-world enterprise work.
We conduct both human and automated evaluations of frontier AI systems including GPT 5.1, Claude Sonnet 4.5, Gemini 3 Pro, Grok 4, and Qwen 3 Max, and GPT 5.1 Pro spends 48 hours in total yet passes only 38.4% of workflows, while Claude Sonnet 4.5 passes just 25.0%. Comprehensive case studies further surface the challenges that real-world enterprise workflows pose for AI agents.