FinTagging : Un benchmark prêt pour les LLM pour l'extraction et la structuration des informations financières

FinTagging: An LLM-ready Benchmark for Extracting and Structuring Financial Information

May 27, 2025

Auteurs: Yan Wang, Yang Ren, Lingfei Qian, Xueqing Peng, Keyi Wang, Yi Han, Dongji Feng, Xiao-Yang Liu, Jimin Huang, Qianqian Xie

cs.AI

Résumé

Nous présentons FinTagging, le premier benchmark XBRL complet et conscient des tables, conçu pour évaluer les capacités d'extraction d'informations structurées et d'alignement sémantique des grands modèles de langage (LLMs) dans le contexte des rapports financiers basés sur XBRL. Contrairement aux benchmarks précédents qui simplifient à l'excès le tagging XBRL en le réduisant à une classification multi-classes plate et se concentrent uniquement sur le texte narratif, FinTagging décompose le problème de tagging XBRL en deux sous-tâches : FinNI pour l'extraction d'entités financières et FinCL pour l'alignement de concepts guidé par la taxonomie. Il exige que les modèles extraient conjointement des faits et les alignent avec l'intégralité de la taxonomie US-GAAP de plus de 10 000 entrées, couvrant à la fois le texte non structuré et les tables structurées, permettant ainsi une évaluation réaliste et granulaire. Nous évaluons un ensemble diversifié de LLMs dans des conditions zero-shot, en analysant systématiquement leurs performances sur les deux sous-tâches ainsi que sur la précision globale du tagging. Nos résultats révèlent que, bien que les LLMs démontrent une forte généralisation dans l'extraction d'informations, ils peinent à réaliser un alignement de concepts granulaire, en particulier pour désambiguïser les entrées de taxonomie étroitement liées. Ces résultats mettent en lumière les limites des LLMs existants dans l'automatisation complète du tagging XBRL et soulignent la nécessité d'améliorer le raisonnement sémantique et la modélisation consciente des schémas pour répondre aux exigences d'une divulgation financière précise. Le code est disponible sur notre dépôt GitHub et les données sur notre dépôt Hugging Face.

English

We introduce FinTagging, the first full-scope, table-aware XBRL benchmark designed to evaluate the structured information extraction and semantic alignment capabilities of large language models (LLMs) in the context of XBRL-based financial reporting. Unlike prior benchmarks that oversimplify XBRL tagging as flat multi-class classification and focus solely on narrative text, FinTagging decomposes the XBRL tagging problem into two subtasks: FinNI for financial entity extraction and FinCL for taxonomy-driven concept alignment. It requires models to jointly extract facts and align them with the full 10k+ US-GAAP taxonomy across both unstructured text and structured tables, enabling realistic, fine-grained evaluation. We assess a diverse set of LLMs under zero-shot settings, systematically analyzing their performance on both subtasks and overall tagging accuracy. Our results reveal that, while LLMs demonstrate strong generalization in information extraction, they struggle with fine-grained concept alignment, particularly in disambiguating closely related taxonomy entries. These findings highlight the limitations of existing LLMs in fully automating XBRL tagging and underscore the need for improved semantic reasoning and schema-aware modeling to meet the demands of accurate financial disclosure. Code is available at our GitHub repository and data is at our Hugging Face repository.