Финч: Оценка финансов и бухгалтерского учета в рамках таблично-ориентированных бизнес-процессов предприятия
Finch: Benchmarking Finance & Accounting across Spreadsheet-Centric Enterprise Workflows
December 15, 2025
Авторы: Haoyu Dong, Pengkun Zhang, Yan Gao, Xuanyu Dong, Yilin Cheng, Mingzhe Lu, Adina Yakefu, Shuxin Zheng
cs.AI
Аннотация
Мы представляем эталонный комплекс для оценки финансовых и бухгалтерских задач (Finch), предназначенный для тестирования ИИ-агентов на реальных профессиональных рабочих процессах корпоративного уровня. Эти процессы включают взаимосвязанные операции: ввод данных, структурирование, форматирование, веб-поиск, извлечение данных из разных файлов, вычисления, моделирование, валидацию, перевод, визуализацию и составление отчетов. Finch создан на основе аутентичных рабочих пространств компаний, включая Enron (15 000 таблиц и 500 000 писем от 150 сотрудников) и другие финансовые институты, что сохраняет присущую реальным данным неупорядоченность мультимодальных артефактов (текст, таблицы, формулы, диаграммы, код и изображения) и охватывает различные области, такие как бюджетирование, трейдинг и управление активами.
Мы предлагаем процесс построения рабочих процессов, сочетающий автоматизированное обнаружение с помощью больших языковых моделей (LLM) и экспертной разметки: (1) LLM-ассистированное, проверенное экспертами извлечение рабочих процессов из реальных цепочек писем и истории версий файлов электронных таблиц и (2) тщательную экспертной разметку рабочих процессов, потребовавшую более 700 часов работы специалистов. В результате получено 172 составных рабочих процесса, включающих 384 задачи, с использованием 1 710 таблиц (27 миллионов ячеек), а также PDF-документов и других артефактов, что отражает присущую реальной корпоративной работе сложность, долгосрочный характер, необходимость глубоких знаний и коллаборации.
Мы провели как человеческую, так и автоматизированную оценку передовых ИИ-систем, включая GPT 5.1, Claude Sonnet 4.5, Gemini 3 Pro, Grok 4 и Qwen 3 Max. GPT 5.1 Pro, затратив в сумме 48 часов, справился лишь с 38,4% рабочих процессов, а Claude Sonnet 4.5 — только с 25,0%. Детальные case-стадии дополнительно выявляют проблемы, которые реальные корпоративные рабочие процессы создают для ИИ-агентов.
English
We introduce a finance & accounting benchmark (Finch) for evaluating AI agents on real-world, enterprise-grade professional workflows -- interleaving data entry, structuring, formatting, web search, cross-file retrieval, calculation, modeling, validation, translation, visualization, and reporting. Finch is sourced from authentic enterprise workspaces at Enron (15,000 spreadsheets and 500,000 emails from 150 employees) and other financial institutions, preserving in-the-wild messiness across multimodal artifacts (text, tables, formulas, charts, code, and images) and spanning diverse domains such as budgeting, trading, and asset management.
We propose a workflow construction process that combines LLM-assisted discovery with expert annotation: (1) LLM-assisted, expert-verified derivation of workflows from real-world email threads and version histories of spreadsheet files, and (2) meticulous expert annotation for workflows, requiring over 700 hours of domain-expert effort. This yields 172 composite workflows with 384 tasks, involving 1,710 spreadsheets with 27 million cells, along with PDFs and other artifacts, capturing the intrinsically messy, long-horizon, knowledge-intensive, and collaborative nature of real-world enterprise work.
We conduct both human and automated evaluations of frontier AI systems including GPT 5.1, Claude Sonnet 4.5, Gemini 3 Pro, Grok 4, and Qwen 3 Max, and GPT 5.1 Pro spends 48 hours in total yet passes only 38.4% of workflows, while Claude Sonnet 4.5 passes just 25.0%. Comprehensive case studies further surface the challenges that real-world enterprise workflows pose for AI agents.