FinTagging: Un Benchmark Pronto per LLM per l'Estrazione e la Strutturazione di Informazioni Finanziarie

FinTagging: An LLM-ready Benchmark for Extracting and Structuring Financial Information

May 27, 2025

Autori: Yan Wang, Yang Ren, Lingfei Qian, Xueqing Peng, Keyi Wang, Yi Han, Dongji Feng, Xiao-Yang Liu, Jimin Huang, Qianqian Xie

cs.AI

Abstract

Presentiamo FinTagging, il primo benchmark XBRL a pieno spettro e consapevole delle tabelle, progettato per valutare le capacità di estrazione strutturata delle informazioni e allineamento semantico dei modelli linguistici di grandi dimensioni (LLM) nel contesto della rendicontazione finanziaria basata su XBRL. A differenza dei benchmark precedenti che semplificano eccessivamente l'etichettatura XBRL come una classificazione multiclasse piatta e si concentrano esclusivamente sul testo narrativo, FinTagging scompone il problema dell'etichettatura XBRL in due sottocompiti: FinNI per l'estrazione delle entità finanziarie e FinCL per l'allineamento dei concetti guidato dalla tassonomia. Richiede ai modelli di estrarre congiuntamente i fatti e allinearli con l'intera tassonomia US-GAAP di oltre 10.000 elementi, sia nel testo non strutturato che nelle tabelle strutturate, consentendo una valutazione realistica e granulare. Valutiamo un insieme diversificato di LLM in contesti zero-shot, analizzando sistematicamente le loro prestazioni su entrambi i sottocompiti e sull'accuratezza complessiva dell'etichettatura. I nostri risultati rivelano che, sebbene gli LLM dimostrino una forte generalizzazione nell'estrazione delle informazioni, faticano nell'allineamento fine dei concetti, in particolare nel disambiguare voci tassonomiche strettamente correlate. Questi risultati evidenziano i limiti degli attuali LLM nell'automatizzare completamente l'etichettatura XBRL e sottolineano la necessità di migliorare il ragionamento semantico e la modellazione consapevole dello schema per soddisfare le esigenze di una rendicontazione finanziaria accurata. Il codice è disponibile nel nostro repository GitHub e i dati nel nostro repository Hugging Face.

English

We introduce FinTagging, the first full-scope, table-aware XBRL benchmark designed to evaluate the structured information extraction and semantic alignment capabilities of large language models (LLMs) in the context of XBRL-based financial reporting. Unlike prior benchmarks that oversimplify XBRL tagging as flat multi-class classification and focus solely on narrative text, FinTagging decomposes the XBRL tagging problem into two subtasks: FinNI for financial entity extraction and FinCL for taxonomy-driven concept alignment. It requires models to jointly extract facts and align them with the full 10k+ US-GAAP taxonomy across both unstructured text and structured tables, enabling realistic, fine-grained evaluation. We assess a diverse set of LLMs under zero-shot settings, systematically analyzing their performance on both subtasks and overall tagging accuracy. Our results reveal that, while LLMs demonstrate strong generalization in information extraction, they struggle with fine-grained concept alignment, particularly in disambiguating closely related taxonomy entries. These findings highlight the limitations of existing LLMs in fully automating XBRL tagging and underscore the need for improved semantic reasoning and schema-aware modeling to meet the demands of accurate financial disclosure. Code is available at our GitHub repository and data is at our Hugging Face repository.