FinTagging: Ein LLM-fähiger Benchmark für die Extraktion und Strukturierung finanzieller Informationen

FinTagging: An LLM-ready Benchmark for Extracting and Structuring Financial Information

May 27, 2025

Autoren: Yan Wang, Yang Ren, Lingfei Qian, Xueqing Peng, Keyi Wang, Yi Han, Dongji Feng, Xiao-Yang Liu, Jimin Huang, Qianqian Xie

cs.AI

Zusammenfassung

Wir stellen FinTagging vor, den ersten umfassenden, tabellenbewussten XBRL-Benchmark, der entwickelt wurde, um die Fähigkeiten großer Sprachmodelle (LLMs) zur strukturierten Informationsextraktion und semantischen Ausrichtung im Kontext von XBRL-basierter Finanzberichterstattung zu bewerten. Im Gegensatz zu früheren Benchmarks, die XBRL-Tagging als flache Mehrklassenklassifikation vereinfachen und sich ausschließlich auf narrativen Text konzentrieren, zerlegt FinTagging das XBRL-Tagging-Problem in zwei Teilaufgaben: FinNI für die Extraktion finanzieller Entitäten und FinCL für die taxonomiegesteuerte Konzeptausrichtung. Es erfordert, dass Modelle Fakten gemeinsam extrahieren und sie mit der vollständigen US-GAAP-Taxonomie von über 10.000 Einträgen sowohl in unstrukturiertem Text als auch in strukturierten Tabellen abgleichen, wodurch eine realistische, feingranulare Bewertung ermöglicht wird. Wir bewerten eine Vielzahl von LLMs unter Zero-Shot-Bedingungen und analysieren systematisch ihre Leistung in beiden Teilaufgaben sowie die Gesamtgenauigkeit des Taggings. Unsere Ergebnisse zeigen, dass LLMs zwar eine starke Generalisierung in der Informationsextraktion aufweisen, jedoch Schwierigkeiten mit der feingranularen Konzeptausrichtung haben, insbesondere bei der Unterscheidung eng verwandter Taxonomieeinträge. Diese Erkenntnisse verdeutlichen die Grenzen bestehender LLMs bei der vollständigen Automatisierung von XBRL-Tagging und unterstreichen die Notwendigkeit verbesserter semantischer Schlussfolgerung und schema-bewusster Modellierung, um die Anforderungen einer präzisen Finanzberichterstattung zu erfüllen. Der Code ist in unserem GitHub-Repository verfügbar, und die Daten befinden sich in unserem Hugging Face-Repository.

English

We introduce FinTagging, the first full-scope, table-aware XBRL benchmark designed to evaluate the structured information extraction and semantic alignment capabilities of large language models (LLMs) in the context of XBRL-based financial reporting. Unlike prior benchmarks that oversimplify XBRL tagging as flat multi-class classification and focus solely on narrative text, FinTagging decomposes the XBRL tagging problem into two subtasks: FinNI for financial entity extraction and FinCL for taxonomy-driven concept alignment. It requires models to jointly extract facts and align them with the full 10k+ US-GAAP taxonomy across both unstructured text and structured tables, enabling realistic, fine-grained evaluation. We assess a diverse set of LLMs under zero-shot settings, systematically analyzing their performance on both subtasks and overall tagging accuracy. Our results reveal that, while LLMs demonstrate strong generalization in information extraction, they struggle with fine-grained concept alignment, particularly in disambiguating closely related taxonomy entries. These findings highlight the limitations of existing LLMs in fully automating XBRL tagging and underscore the need for improved semantic reasoning and schema-aware modeling to meet the demands of accurate financial disclosure. Code is available at our GitHub repository and data is at our Hugging Face repository.