FinTagging: Um Benchmark Pronto para LLMs na Extração e Estruturação de Informações Financeiras

FinTagging: An LLM-ready Benchmark for Extracting and Structuring Financial Information

May 27, 2025

Autores: Yan Wang, Yang Ren, Lingfei Qian, Xueqing Peng, Keyi Wang, Yi Han, Dongji Feng, Xiao-Yang Liu, Jimin Huang, Qianqian Xie

cs.AI

Resumo

Apresentamos o FinTagging, o primeiro benchmark de XBRL de escopo completo e consciente de tabelas, projetado para avaliar as capacidades de extração de informações estruturadas e alinhamento semântico de modelos de linguagem de grande escala (LLMs) no contexto de relatórios financeiros baseados em XBRL. Diferente de benchmarks anteriores que simplificam excessivamente a marcação XBRL como uma classificação multiclasse plana e focam apenas em texto narrativo, o FinTagging decompõe o problema de marcação XBRL em duas subtarefas: FinNI para extração de entidades financeiras e FinCL para alinhamento de conceitos orientado por taxonomia. Ele exige que os modelos extraiam fatos e os alinhem com toda a taxonomia US-GAAP de mais de 10 mil entradas, abrangendo tanto texto não estruturado quanto tabelas estruturadas, permitindo uma avaliação realista e detalhada. Avaliamos um conjunto diversificado de LLMs em configurações zero-shot, analisando sistematicamente seu desempenho em ambas as subtarefas e na precisão geral de marcação. Nossos resultados revelam que, embora os LLMs demonstrem forte generalização na extração de informações, eles têm dificuldades com o alinhamento detalhado de conceitos, especialmente na desambiguação de entradas de taxonomia intimamente relacionadas. Essas descobertas destacam as limitações dos LLMs existentes na automação completa da marcação XBRL e reforçam a necessidade de melhorias no raciocínio semântico e na modelagem consciente de esquemas para atender às demandas de divulgação financeira precisa. O código está disponível em nosso repositório no GitHub e os dados estão em nosso repositório no Hugging Face.

English

We introduce FinTagging, the first full-scope, table-aware XBRL benchmark designed to evaluate the structured information extraction and semantic alignment capabilities of large language models (LLMs) in the context of XBRL-based financial reporting. Unlike prior benchmarks that oversimplify XBRL tagging as flat multi-class classification and focus solely on narrative text, FinTagging decomposes the XBRL tagging problem into two subtasks: FinNI for financial entity extraction and FinCL for taxonomy-driven concept alignment. It requires models to jointly extract facts and align them with the full 10k+ US-GAAP taxonomy across both unstructured text and structured tables, enabling realistic, fine-grained evaluation. We assess a diverse set of LLMs under zero-shot settings, systematically analyzing their performance on both subtasks and overall tagging accuracy. Our results reveal that, while LLMs demonstrate strong generalization in information extraction, they struggle with fine-grained concept alignment, particularly in disambiguating closely related taxonomy entries. These findings highlight the limitations of existing LLMs in fully automating XBRL tagging and underscore the need for improved semantic reasoning and schema-aware modeling to meet the demands of accurate financial disclosure. Code is available at our GitHub repository and data is at our Hugging Face repository.