FinTagging: 재무 정보 추출 및 구조화를 위한 LLM 준비 벤치마크

FinTagging: An LLM-ready Benchmark for Extracting and Structuring Financial Information

May 27, 2025

저자: Yan Wang, Yang Ren, Lingfei Qian, Xueqing Peng, Keyi Wang, Yi Han, Dongji Feng, Xiao-Yang Liu, Jimin Huang, Qianqian Xie

cs.AI

초록

우리는 XBRL 기반 재무 보고 컨텍스트에서 대규모 언어 모델(LLMs)의 구조화된 정보 추출 및 의미론적 정렬 능력을 평가하기 위해 설계된 최초의 전범위, 테이블 인식 XBRL 벤치마크인 FinTagging을 소개합니다. XBRL 태깅을 단순한 다중 클래스 분류로 과소평가하고 서술적 텍스트에만 초점을 맞춘 기존 벤치마크와 달리, FinTagging은 XBRL 태깅 문제를 두 가지 하위 작업으로 분해합니다: FinNI는 재무 개체 추출을, FinCL은 분류 체계 기반 개념 정렬을 담당합니다. 이는 모델이 비정형 텍스트와 구조화된 테이블 모두에서 사실을 추출하고 10,000개 이상의 US-GAAP 분류 체계와 정렬하도록 요구함으로써 현실적이고 세밀한 평가를 가능하게 합니다. 우리는 제로샷 설정에서 다양한 LLMs를 평가하며, 두 하위 작업과 전체 태깅 정확도에 대한 성능을 체계적으로 분석합니다. 우리의 결과는 LLMs가 정보 추출에서 강력한 일반화 능력을 보이지만, 특히 밀접하게 관련된 분류 체계 항목을 구별하는 데 있어 세밀한 개념 정렬에 어려움을 겪는다는 것을 보여줍니다. 이러한 발견은 정확한 재무 공시 요구를 충족시키기 위해 개선된 의미론적 추론과 스키마 인식 모델링의 필요성을 강조하며, 기존 LLMs의 XBRL 태깅 완전 자동화의 한계를 드러냅니다. 코드는 GitHub 저장소에서, 데이터는 Hugging Face 저장소에서 확인할 수 있습니다.

English

We introduce FinTagging, the first full-scope, table-aware XBRL benchmark designed to evaluate the structured information extraction and semantic alignment capabilities of large language models (LLMs) in the context of XBRL-based financial reporting. Unlike prior benchmarks that oversimplify XBRL tagging as flat multi-class classification and focus solely on narrative text, FinTagging decomposes the XBRL tagging problem into two subtasks: FinNI for financial entity extraction and FinCL for taxonomy-driven concept alignment. It requires models to jointly extract facts and align them with the full 10k+ US-GAAP taxonomy across both unstructured text and structured tables, enabling realistic, fine-grained evaluation. We assess a diverse set of LLMs under zero-shot settings, systematically analyzing their performance on both subtasks and overall tagging accuracy. Our results reveal that, while LLMs demonstrate strong generalization in information extraction, they struggle with fine-grained concept alignment, particularly in disambiguating closely related taxonomy entries. These findings highlight the limitations of existing LLMs in fully automating XBRL tagging and underscore the need for improved semantic reasoning and schema-aware modeling to meet the demands of accurate financial disclosure. Code is available at our GitHub repository and data is at our Hugging Face repository.