Набор данных MERIT: Моделирование и эффективное визуализирование интерпретируемых транскриптов

The MERIT Dataset: Modelling and Efficiently Rendering Interpretable Transcripts

August 31, 2024

Авторы: I. de Rodrigo, A. Sanchez-Cuadrado, J. Boal, A. J. Lopez-Lopez

cs.AI

Аннотация

Данный документ представляет набор данных MERIT, мультимодальный (текст + изображение + макет), полностью размеченный в контексте школьных отчетов. Включающий более 400 меток и 33 тыс. образцов, набор данных MERIT является ценным ресурсом для обучения моделей в сложных задачах понимания визуально насыщенных документов (VrDU). По своей природе (отчеты об успеваемости студентов), набор данных MERIT потенциально может включать предвзятости контролируемым образом, что делает его ценным инструментом для оценки предвзятостей, вызванных языковыми моделями (LLM). В документе описан процесс создания набора данных и выделены его основные особенности в текстовой, визуальной, макетной и предвзятостной областях. Для демонстрации полезности набора данных мы представляем показатель с токенными моделями классификации, показывая, что набор данных представляет собой значительное испытание даже для передовых моделей и что они могли бы значительно выиграть от включения образцов из набора данных MERIT в фазу предварительного обучения.

English

This paper introduces the MERIT Dataset, a multimodal (text + image + layout) fully labeled dataset within the context of school reports. Comprising over 400 labels and 33k samples, the MERIT Dataset is a valuable resource for training models in demanding Visually-rich Document Understanding (VrDU) tasks. By its nature (student grade reports), the MERIT Dataset can potentially include biases in a controlled way, making it a valuable tool to benchmark biases induced in Language Models (LLMs). The paper outlines the dataset's generation pipeline and highlights its main features in the textual, visual, layout, and bias domains. To demonstrate the dataset's utility, we present a benchmark with token classification models, showing that the dataset poses a significant challenge even for SOTA models and that these would greatly benefit from including samples from the MERIT Dataset in their pretraining phase.