FinTagging: 財務情報の抽出と構造化のためのLLM対応ベンチマーク

FinTagging: An LLM-ready Benchmark for Extracting and Structuring Financial Information

May 27, 2025

著者: Yan Wang, Yang Ren, Lingfei Qian, Xueqing Peng, Keyi Wang, Yi Han, Dongji Feng, Xiao-Yang Liu, Jimin Huang, Qianqian Xie

cs.AI

要旨

我々はFinTaggingを紹介する。これは、XBRLベースの財務報告における大規模言語モデル（LLM）の構造化情報抽出と意味的整合能力を評価するために設計された、初のフルスコープかつテーブル対応のXBRLベンチマークである。従来のベンチマークがXBRLタグ付けを単純な多クラス分類として扱い、物語調のテキストのみに焦点を当てていたのに対し、FinTaggingはXBRLタグ付け問題を2つのサブタスクに分解する：FinNI（財務エンティティ抽出）とFinCL（分類体系駆動の概念整合）である。本ベンチマークでは、モデルが非構造化テキストと構造化テーブルの両方にわたって事実を抽出し、10,000以上のUS-GAAP分類体系全体と整合させることを要求し、現実的で細かな評価を可能にする。我々はゼロショット設定下で多様なLLMを評価し、各サブタスクと全体的なタグ付け精度に関する性能を体系的に分析した。その結果、LLMは情報抽出において強い汎化能力を示す一方で、特に密接に関連する分類体系エントリの曖昧性解消において、細かな概念整合に苦戦することが明らかになった。これらの知見は、既存のLLMがXBRLタグ付けを完全に自動化する上での限界を浮き彫りにし、正確な財務開示の要求を満たすための改善された意味的推論とスキーマ対応モデリングの必要性を強調するものである。コードはGitHubリポジトリ、データはHugging Faceリポジトリで公開されている。

English

We introduce FinTagging, the first full-scope, table-aware XBRL benchmark designed to evaluate the structured information extraction and semantic alignment capabilities of large language models (LLMs) in the context of XBRL-based financial reporting. Unlike prior benchmarks that oversimplify XBRL tagging as flat multi-class classification and focus solely on narrative text, FinTagging decomposes the XBRL tagging problem into two subtasks: FinNI for financial entity extraction and FinCL for taxonomy-driven concept alignment. It requires models to jointly extract facts and align them with the full 10k+ US-GAAP taxonomy across both unstructured text and structured tables, enabling realistic, fine-grained evaluation. We assess a diverse set of LLMs under zero-shot settings, systematically analyzing their performance on both subtasks and overall tagging accuracy. Our results reveal that, while LLMs demonstrate strong generalization in information extraction, they struggle with fine-grained concept alignment, particularly in disambiguating closely related taxonomy entries. These findings highlight the limitations of existing LLMs in fully automating XBRL tagging and underscore the need for improved semantic reasoning and schema-aware modeling to meet the demands of accurate financial disclosure. Code is available at our GitHub repository and data is at our Hugging Face repository.