ExStrucTiny: Um Benchmark para Extração de Informações Estruturadas com Esquema Variável em Imagens de Documentos
ExStrucTiny: A Benchmark for Schema-Variable Structured Information Extraction from Document Images
February 12, 2026
Autores: Mathieu Sibue, Andres Muñoz Garza, Samuel Mensah, Pranav Shetty, Zhiqiang Ma, Xiaomo Liu, Manuela Veloso
cs.AI
Resumo
Documentos empresariais, como formulários e relatórios, incorporam informações críticas para aplicações subsequentes, como arquivamento de dados, fluxos de trabalho automatizados e análise. Embora os Modelos de Linguagem Visual (VLMs) generalistas tenham bom desempenho em benchmarks estabelecidos de compreensão de documentos, sua capacidade de realizar extração estruturada holística e granular em diversos tipos de documentos e esquemas flexíveis não é bem estudada. Os conjuntos de dados existentes para Extração de Entidades-Chave (KEE), Extração de Relações (RE) e Resposta a Perguntas Visuais (VQA) são limitados por ontologias de entidades restritas, consultas simples ou tipos de documentos homogéneos, frequentemente negligenciando a necessidade de extração estruturada e adaptável. Para colmatar estas lacunas, introduzimos o ExStrucTiny, um novo conjunto de dados de referência para Extração de Informação (EI) estruturada a partir de imagens de documentos, unificando aspetos de KEE, RE e VQA. Construído através de um *pipeline* inovador que combina amostras manuais e sintéticas validadas por humanos, o ExStrucTiny abrange tipos de documentos e cenários de extração mais variados. Analisamos VLMs abertos e fechados neste benchmark, destacando desafios como adaptação de esquema, subespecificação de consultas e localização de respostas. Esperamos que o nosso trabalho forneça uma base para melhorar modelos generalistas para EI estruturada em documentos.
English
Enterprise documents, such as forms and reports, embed critical information for downstream applications like data archiving, automated workflows, and analytics. Although generalist Vision Language Models (VLMs) perform well on established document understanding benchmarks, their ability to conduct holistic, fine-grained structured extraction across diverse document types and flexible schemas is not well studied. Existing Key Entity Extraction (KEE), Relation Extraction (RE), and Visual Question Answering (VQA) datasets are limited by narrow entity ontologies, simple queries, or homogeneous document types, often overlooking the need for adaptable and structured extraction. To address these gaps, we introduce ExStrucTiny, a new benchmark dataset for structured Information Extraction (IE) from document images, unifying aspects of KEE, RE, and VQA. Built through a novel pipeline combining manual and synthetic human-validated samples, ExStrucTiny covers more varied document types and extraction scenarios. We analyze open and closed VLMs on this benchmark, highlighting challenges such as schema adaptation, query under-specification, and answer localization. We hope our work provides a bedrock for improving generalist models for structured IE in documents.