ExStrucTiny: Бенчмарк для извлечения структурированной информации с переменной схемой из изображений документов
ExStrucTiny: A Benchmark for Schema-Variable Structured Information Extraction from Document Images
February 12, 2026
Авторы: Mathieu Sibue, Andres Muñoz Garza, Samuel Mensah, Pranav Shetty, Zhiqiang Ma, Xiaomo Liu, Manuela Veloso
cs.AI
Аннотация
Корпоративные документы, такие как формы и отчеты, содержат критически важную информацию для последующих приложений, включая архивирование данных, автоматизированные рабочие процессы и аналитику. Хотя универсальные визуально-языковые модели (VLM) демонстрируют хорошие результаты на стандартных тестах по пониманию документов, их способность выполнять целостное, детализированное структурированное извлечение данных из разнообразных типов документов в соответствии с гибкими схемами изучена недостаточно. Существующие наборы данных для извлечения ключевых сущностей (KEE), извлечения отношений (RE) и визуального ответа на вопросы (VQA) ограничены узкими онтологиями сущностей, простыми запросами или однородными типами документов, часто игнорируя потребность в адаптивном и структурированном извлечении. Для устранения этих пробелов мы представляем ExStrucTiny — новый эталонный набор данных для структурированного извлечения информации (IE) из изображений документов, объединяющий аспекты KEE, RE и VQA. Созданный с помощью нового конвейера, сочетающего ручные и синтетические проверенные человеком образцы, ExStrucTiny охватывает более разнообразные типы документов и сценарии извлечения. Мы анализируем на этом эталоне открытые и закрытые VLM, выделяя такие проблемы, как адаптация схемы, неполнота запросов и локализация ответов. Мы надеемся, что наша работа заложит основу для улучшения универсальных моделей в области структурированного IE для документов.
English
Enterprise documents, such as forms and reports, embed critical information for downstream applications like data archiving, automated workflows, and analytics. Although generalist Vision Language Models (VLMs) perform well on established document understanding benchmarks, their ability to conduct holistic, fine-grained structured extraction across diverse document types and flexible schemas is not well studied. Existing Key Entity Extraction (KEE), Relation Extraction (RE), and Visual Question Answering (VQA) datasets are limited by narrow entity ontologies, simple queries, or homogeneous document types, often overlooking the need for adaptable and structured extraction. To address these gaps, we introduce ExStrucTiny, a new benchmark dataset for structured Information Extraction (IE) from document images, unifying aspects of KEE, RE, and VQA. Built through a novel pipeline combining manual and synthetic human-validated samples, ExStrucTiny covers more varied document types and extraction scenarios. We analyze open and closed VLMs on this benchmark, highlighting challenges such as schema adaptation, query under-specification, and answer localization. We hope our work provides a bedrock for improving generalist models for structured IE in documents.