Finch: Benchmarking di Finanza e Contabilità nei Flussi di Lavoro Aziendali Centrati sui Fogli di Calcolo
Finch: Benchmarking Finance & Accounting across Spreadsheet-Centric Enterprise Workflows
December 15, 2025
Autori: Haoyu Dong, Pengkun Zhang, Yan Gao, Xuanyu Dong, Yilin Cheng, Mingzhe Lu, Adina Yakefu, Shuxin Zheng
cs.AI
Abstract
Introduciamo un benchmark finanziario e contabile (Finch) per valutare agenti di intelligenza artificiale su flussi di lavoro professionali reali di livello enterprise – che integrano inserimento dati, strutturazione, formattazione, ricerca web, recupero interfile, calcolo, modellizzazione, validazione, traduzione, visualizzazione e reporting. Finch è ricavato da ambienti di lavoro aziendali autentici di Enron (15.000 fogli di calcolo e 500.000 email di 150 dipendenti) e di altre istituzioni finanziarie, preservando la disorganizzazione tipica del mondo reale attraverso artefatti multimodali (testo, tabelle, formule, grafici, codice e immagini) e coprendo domini diversi come budgeting, trading e gestione patrimoniale.
Proponiamo un processo di costruzione dei flussi di lavoro che combina scoperta assistita da LLM con annotazione esperta: (1) derivazione di flussi di lavoro da thread email reali e cronologie delle versioni di file di fogli di calcolo, assistita da LLM e verificata da esperti, e (2) meticolosa annotazione esperta dei flussi di lavoro, che ha richiesto oltre 700 ore di lavoro da parte di esperti di dominio. Questo processo ha prodotto 172 flussi di lavoro compositi con 384 task, coinvolgendo 1.710 fogli di calcolo con 27 milioni di celle, insieme a PDF e altri artefatti, catturando la natura intrinsecamente disordinata, a lungo termine, knowledge-intensive e collaborativa del lavoro aziendale reale.
Sono state condotte valutazioni sia umane che automatizzate di sistemi di IA all'avanguardia, inclusi GPT 5.1, Claude Sonnet 4.5, Gemini 3 Pro, Grok 4 e Qwen 3 Max. GPT 5.1 Pro impiega 48 ore in totale ma supera solo il 38,4% dei flussi di lavoro, mentre Claude Sonnet 4.5 ne supera appena il 25,0%. Casi di studio completi evidenziano ulteriormente le sfide che i flussi di lavoro aziendali reali pongono agli agenti di IA.
English
We introduce a finance & accounting benchmark (Finch) for evaluating AI agents on real-world, enterprise-grade professional workflows -- interleaving data entry, structuring, formatting, web search, cross-file retrieval, calculation, modeling, validation, translation, visualization, and reporting. Finch is sourced from authentic enterprise workspaces at Enron (15,000 spreadsheets and 500,000 emails from 150 employees) and other financial institutions, preserving in-the-wild messiness across multimodal artifacts (text, tables, formulas, charts, code, and images) and spanning diverse domains such as budgeting, trading, and asset management.
We propose a workflow construction process that combines LLM-assisted discovery with expert annotation: (1) LLM-assisted, expert-verified derivation of workflows from real-world email threads and version histories of spreadsheet files, and (2) meticulous expert annotation for workflows, requiring over 700 hours of domain-expert effort. This yields 172 composite workflows with 384 tasks, involving 1,710 spreadsheets with 27 million cells, along with PDFs and other artifacts, capturing the intrinsically messy, long-horizon, knowledge-intensive, and collaborative nature of real-world enterprise work.
We conduct both human and automated evaluations of frontier AI systems including GPT 5.1, Claude Sonnet 4.5, Gemini 3 Pro, Grok 4, and Qwen 3 Max, and GPT 5.1 Pro spends 48 hours in total yet passes only 38.4% of workflows, while Claude Sonnet 4.5 passes just 25.0%. Comprehensive case studies further surface the challenges that real-world enterprise workflows pose for AI agents.