FinTagging: эталонный набор данных для извлечения и структурирования финансовой информации, готовый для использования с языковыми моделями

FinTagging: An LLM-ready Benchmark for Extracting and Structuring Financial Information

May 27, 2025

Авторы: Yan Wang, Yang Ren, Lingfei Qian, Xueqing Peng, Keyi Wang, Yi Han, Dongji Feng, Xiao-Yang Liu, Jimin Huang, Qianqian Xie

cs.AI

Аннотация

Мы представляем FinTagging — первый комплексный бенчмарк, учитывающий таблицы, для оценки возможностей крупных языковых моделей (LLM) в извлечении структурированной информации и семантическом выравнивании в контексте финансовой отчетности на основе XBRL. В отличие от предыдущих бенчмарков, которые упрощают XBRL-тегирование до плоской многоклассовой классификации и сосредотачиваются исключительно на текстовых данных, FinTagging разбивает задачу XBRL-тегирования на две подзадачи: FinNI для извлечения финансовых сущностей и FinCL для выравнивания концепций на основе таксономии. Он требует от моделей совместного извлечения фактов и их сопоставления с полной таксономией US-GAAP, содержащей более 10 тысяч элементов, как в неструктурированном тексте, так и в структурированных таблицах, что позволяет проводить реалистичную и детальную оценку. Мы тестируем разнообразные LLM в условиях zero-shot, систематически анализируя их производительность в обеих подзадачах и общую точность тегирования. Наши результаты показывают, что, хотя LLM демонстрируют сильную обобщающую способность в извлечении информации, они испытывают трудности с детальным выравниванием концепций, особенно в разграничении близких по смыслу элементов таксономии. Эти выводы подчеркивают ограничения существующих LLM в полной автоматизации XBRL-тегирования и указывают на необходимость улучшения семантического анализа и моделирования с учетом схемы для удовлетворения требований точного финансового раскрытия. Код доступен в нашем репозитории на GitHub, а данные — в репозитории на Hugging Face.

English

We introduce FinTagging, the first full-scope, table-aware XBRL benchmark designed to evaluate the structured information extraction and semantic alignment capabilities of large language models (LLMs) in the context of XBRL-based financial reporting. Unlike prior benchmarks that oversimplify XBRL tagging as flat multi-class classification and focus solely on narrative text, FinTagging decomposes the XBRL tagging problem into two subtasks: FinNI for financial entity extraction and FinCL for taxonomy-driven concept alignment. It requires models to jointly extract facts and align them with the full 10k+ US-GAAP taxonomy across both unstructured text and structured tables, enabling realistic, fine-grained evaluation. We assess a diverse set of LLMs under zero-shot settings, systematically analyzing their performance on both subtasks and overall tagging accuracy. Our results reveal that, while LLMs demonstrate strong generalization in information extraction, they struggle with fine-grained concept alignment, particularly in disambiguating closely related taxonomy entries. These findings highlight the limitations of existing LLMs in fully automating XBRL tagging and underscore the need for improved semantic reasoning and schema-aware modeling to meet the demands of accurate financial disclosure. Code is available at our GitHub repository and data is at our Hugging Face repository.