ExStrucTiny: Un Benchmark per l'Estrazione Strutturata di Informazioni con Schema Variabile da Immagini Documentali
ExStrucTiny: A Benchmark for Schema-Variable Structured Information Extraction from Document Images
February 12, 2026
Autori: Mathieu Sibue, Andres Muñoz Garza, Samuel Mensah, Pranav Shetty, Zhiqiang Ma, Xiaomo Liu, Manuela Veloso
cs.AI
Abstract
I documenti aziendali, come moduli e report, incorporano informazioni critiche per applicazioni a valle come l'archiviazione dei dati, i flussi di lavoro automatizzati e l'analisi. Sebbene i modelli linguistici visivi (VLM) generalisti performino bene su benchmark consolidati per la comprensione dei documenti, la loro capacità di condurre un'estrazione strutturata, olistica e granulare su tipi di documento diversi e schemi flessibili non è stata ancora studiata approfonditamente. I dataset esistenti per l'estrazione di entità chiave (KEE), l'estrazione di relazioni (RE) e il question answering visivo (VQA) sono limitati da ontologie di entità ristrette, query semplici o tipi di documento omogenei, trascurando spesso l'esigenza di un'estrazione strutturata e adattabile. Per colmare queste lacune, introduciamo ExStrucTiny, un nuovo dataset di benchmark per l'estrazione strutturata di informazioni (IE) da immagini di documenti, che unifica aspetti di KEE, RE e VQA. Costruito attraverso una pipeline innovativa che combina campioni sintetici e manuali convalidati da esseri umani, ExStrucTiny copre tipi di documento e scenari di estrazione più vari. Analizziamo su questo benchmark VLM open e closed, evidenziando sfide come l'adattamento dello schema, la sotto-specificazione delle query e la localizzazione delle risposte. Speriamo che il nostro lavoro fornisca una base solida per migliorare i modelli generalisti per l'IE strutturato nei documenti.
English
Enterprise documents, such as forms and reports, embed critical information for downstream applications like data archiving, automated workflows, and analytics. Although generalist Vision Language Models (VLMs) perform well on established document understanding benchmarks, their ability to conduct holistic, fine-grained structured extraction across diverse document types and flexible schemas is not well studied. Existing Key Entity Extraction (KEE), Relation Extraction (RE), and Visual Question Answering (VQA) datasets are limited by narrow entity ontologies, simple queries, or homogeneous document types, often overlooking the need for adaptable and structured extraction. To address these gaps, we introduce ExStrucTiny, a new benchmark dataset for structured Information Extraction (IE) from document images, unifying aspects of KEE, RE, and VQA. Built through a novel pipeline combining manual and synthetic human-validated samples, ExStrucTiny covers more varied document types and extraction scenarios. We analyze open and closed VLMs on this benchmark, highlighting challenges such as schema adaptation, query under-specification, and answer localization. We hope our work provides a bedrock for improving generalist models for structured IE in documents.