FinTagging: Un punto de referencia listo para LLM para la extracción y estructuración de información financiera

FinTagging: An LLM-ready Benchmark for Extracting and Structuring Financial Information

May 27, 2025

Autores: Yan Wang, Yang Ren, Lingfei Qian, Xueqing Peng, Keyi Wang, Yi Han, Dongji Feng, Xiao-Yang Liu, Jimin Huang, Qianqian Xie

cs.AI

Resumen

Presentamos FinTagging, el primer punto de referencia XBRL de alcance completo y consciente de tablas diseñado para evaluar las capacidades de extracción de información estructurada y alineación semántica de los modelos de lenguaje de gran escala (LLMs) en el contexto de informes financieros basados en XBRL. A diferencia de los puntos de referencia anteriores que simplifican en exceso el etiquetado XBRL como una clasificación multiclase plana y se centran únicamente en texto narrativo, FinTagging descompone el problema de etiquetado XBRL en dos subtareas: FinNI para la extracción de entidades financieras y FinCL para la alineación de conceptos basada en taxonomías. Requiere que los modelos extraigan hechos y los alineen con la taxonomía completa de US-GAAP de más de 10,000 elementos, tanto en texto no estructurado como en tablas estructuradas, permitiendo una evaluación realista y detallada. Evaluamos un conjunto diverso de LLMs en configuraciones de cero disparos, analizando sistemáticamente su rendimiento en ambas subtareas y en la precisión general del etiquetado. Nuestros resultados revelan que, aunque los LLMs demuestran una fuerte generalización en la extracción de información, tienen dificultades con la alineación detallada de conceptos, particularmente en la desambiguación de entradas de taxonomía estrechamente relacionadas. Estos hallazgos resaltan las limitaciones de los LLMs existentes para automatizar completamente el etiquetado XBRL y subrayan la necesidad de mejorar el razonamiento semántico y el modelado consciente del esquema para satisfacer las demandas de divulgación financiera precisa. El código está disponible en nuestro repositorio de GitHub y los datos en nuestro repositorio de Hugging Face.

English

We introduce FinTagging, the first full-scope, table-aware XBRL benchmark designed to evaluate the structured information extraction and semantic alignment capabilities of large language models (LLMs) in the context of XBRL-based financial reporting. Unlike prior benchmarks that oversimplify XBRL tagging as flat multi-class classification and focus solely on narrative text, FinTagging decomposes the XBRL tagging problem into two subtasks: FinNI for financial entity extraction and FinCL for taxonomy-driven concept alignment. It requires models to jointly extract facts and align them with the full 10k+ US-GAAP taxonomy across both unstructured text and structured tables, enabling realistic, fine-grained evaluation. We assess a diverse set of LLMs under zero-shot settings, systematically analyzing their performance on both subtasks and overall tagging accuracy. Our results reveal that, while LLMs demonstrate strong generalization in information extraction, they struggle with fine-grained concept alignment, particularly in disambiguating closely related taxonomy entries. These findings highlight the limitations of existing LLMs in fully automating XBRL tagging and underscore the need for improved semantic reasoning and schema-aware modeling to meet the demands of accurate financial disclosure. Code is available at our GitHub repository and data is at our Hugging Face repository.