ExStrucTiny: Een benchmark voor gestructureerde informatie-extractie met variabele schema's uit documentafbeeldingen

ExStrucTiny: A Benchmark for Schema-Variable Structured Information Extraction from Document Images

February 12, 2026

Auteurs: Mathieu Sibue, Andres Muñoz Garza, Samuel Mensah, Pranav Shetty, Zhiqiang Ma, Xiaomo Liu, Manuela Veloso

cs.AI

Samenvatting

Bedrijfsdocumenten, zoals formulieren en rapporten, bevatten essentiële informatie voor downstream-toepassingen zoals gegevensarchivering, geautomatiseerde workflows en analyses. Hoewel generalistische Vision Language Models (VLMs) goed presteren op gevestigde benchmarks voor documentbegrip, is hun vermogen om holistische, fijnmazige gestructureerde extractie uit te voeren over diverse documenttypen en flexibele schema's niet goed bestudeerd. Bestaande datasets voor Key Entity Extraction (KEE), Relation Extraction (RE) en Visual Question Answering (VQA) worden beperkt door smalle entiteitontologieën, eenvoudige queries of homogene documenttypen, waarbij de behoefte aan aanpasbare en gestructureerde extractie vaak over het hoofd wordt gezien. Om deze lacunes aan te pakken, introduceren we ExStrucTiny, een nieuwe benchmarkdataset voor gestructureerde Information Extraction (IE) uit documentafbeeldingen, die aspecten van KEE, RE en VQA verenigt. Opgebouwd via een nieuwe pijplijn die handmatige en synthetische, door mensen gevalideerde samples combineert, dekt ExStrucTiny meer gevarieerde documenttypen en extractiescenario's. We analyseren open en gesloten VLMs op deze benchmark en belichten uitdagingen zoals schema-aanpassing, query-onderspecificatie en antwoordlokalisatie. We hopen dat ons werk een fundament biedt voor het verbeteren van generalistische modellen voor gestructureerde IE in documenten.

English

Enterprise documents, such as forms and reports, embed critical information for downstream applications like data archiving, automated workflows, and analytics. Although generalist Vision Language Models (VLMs) perform well on established document understanding benchmarks, their ability to conduct holistic, fine-grained structured extraction across diverse document types and flexible schemas is not well studied. Existing Key Entity Extraction (KEE), Relation Extraction (RE), and Visual Question Answering (VQA) datasets are limited by narrow entity ontologies, simple queries, or homogeneous document types, often overlooking the need for adaptable and structured extraction. To address these gaps, we introduce ExStrucTiny, a new benchmark dataset for structured Information Extraction (IE) from document images, unifying aspects of KEE, RE, and VQA. Built through a novel pipeline combining manual and synthetic human-validated samples, ExStrucTiny covers more varied document types and extraction scenarios. We analyze open and closed VLMs on this benchmark, highlighting challenges such as schema adaptation, query under-specification, and answer localization. We hope our work provides a bedrock for improving generalist models for structured IE in documents.