Finch: Benchmarking van Financiën en Accounting in Spreadsheet-Gerichte Bedrijfswerkstromen
Finch: Benchmarking Finance & Accounting across Spreadsheet-Centric Enterprise Workflows
December 15, 2025
Auteurs: Haoyu Dong, Pengkun Zhang, Yan Gao, Xuanyu Dong, Yilin Cheng, Mingzhe Lu, Adina Yakefu, Shuxin Zheng
cs.AI
Samenvatting
Wij introduceren een financiële en boekhoudkundige benchmark (Finch) voor het evalueren van AI-agenten op realistische, professionele workflows op ondernemingsniveau. Deze workflows combineren gegevensinvoer, structurering, opmaak, webzoekopdrachten, gegevensopvraging tussen bestanden, berekeningen, modellering, validatie, vertaling, visualisatie en rapportage. Finch is samengesteld uit authentieke werkomgevingen van Enron (15.000 spreadsheets en 500.000 e-mails van 150 werknemers) en andere financiële instellingen, waarbij de realistische chaos van multimodale artefacten (tekst, tabellen, formules, grafieken, code en afbeeldingen) behouden blijft. De benchmark bestrijkt diverse domeinen zoals budgeting, handel en vermogensbeheer.
Wij stellen een workflowconstructieproces voor dat LLM-ondersteunde ontdekking combineert met expertannotatie: (1) LLM-ondersteunde, door experts geverifieerde afleiding van workflows uit realistische e-maildiscussies en versiegeschiedenissen van spreadsheetbestanden, en (2) nauwgezette expertannotatie voor workflows, wat meer dan 700 uur aan inzet van domeinexperts vereiste. Dit resulteert in 172 samengestelde workflows met 384 taken, waarbij 1.710 spreadsheets met 27 miljoen cellen betrokken zijn, samen met PDF's en andere artefacten. Hiermee wordt de inherente chaos, lange-termijn aard, kennisintensiviteit en collaboratieve karakter van realistische ondernemingswerkzaamheden vastgelegd.
Wij voeren zowel menselijke als geautomatiseerde evaluaties uit van vooraanstaande AI-systemen, waaronder GPT 5.1, Claude Sonnet 4.5, Gemini 3 Pro, Grok 4 en Qwen 3 Max. GPT 5.1 Pro besteedt in totaal 48 uur maar slaagt slechts voor 38,4% van de workflows, terwijl Claude Sonnet 4.5 slechts 25,0% haalt. Uitgebreide casestudies brengen de uitdagingen verder aan het licht die realistische ondernemingsworkflows vormen voor AI-agenten.
English
We introduce a finance & accounting benchmark (Finch) for evaluating AI agents on real-world, enterprise-grade professional workflows -- interleaving data entry, structuring, formatting, web search, cross-file retrieval, calculation, modeling, validation, translation, visualization, and reporting. Finch is sourced from authentic enterprise workspaces at Enron (15,000 spreadsheets and 500,000 emails from 150 employees) and other financial institutions, preserving in-the-wild messiness across multimodal artifacts (text, tables, formulas, charts, code, and images) and spanning diverse domains such as budgeting, trading, and asset management.
We propose a workflow construction process that combines LLM-assisted discovery with expert annotation: (1) LLM-assisted, expert-verified derivation of workflows from real-world email threads and version histories of spreadsheet files, and (2) meticulous expert annotation for workflows, requiring over 700 hours of domain-expert effort. This yields 172 composite workflows with 384 tasks, involving 1,710 spreadsheets with 27 million cells, along with PDFs and other artifacts, capturing the intrinsically messy, long-horizon, knowledge-intensive, and collaborative nature of real-world enterprise work.
We conduct both human and automated evaluations of frontier AI systems including GPT 5.1, Claude Sonnet 4.5, Gemini 3 Pro, Grok 4, and Qwen 3 Max, and GPT 5.1 Pro spends 48 hours in total yet passes only 38.4% of workflows, while Claude Sonnet 4.5 passes just 25.0%. Comprehensive case studies further surface the challenges that real-world enterprise workflows pose for AI agents.