El conjunto de datos MERIT: Modelado y Renderizado Eficiente de Transcripciones Interpretables

The MERIT Dataset: Modelling and Efficiently Rendering Interpretable Transcripts

August 31, 2024

Autores: I. de Rodrigo, A. Sanchez-Cuadrado, J. Boal, A. J. Lopez-Lopez

cs.AI

Resumen

Este documento presenta el Conjunto de Datos MERIT, un conjunto de datos multimodal (texto + imagen + diseño) completamente etiquetado en el contexto de informes escolares. Con más de 400 etiquetas y 33k muestras, el Conjunto de Datos MERIT es un recurso valioso para entrenar modelos en tareas exigentes de Comprensión de Documentos Visualmente Ricos (VrDU). Por su naturaleza (informes de calificaciones de estudiantes), el Conjunto de Datos MERIT puede potencialmente incluir sesgos de manera controlada, convirtiéndolo en una herramienta valiosa para evaluar los sesgos inducidos en Modelos de Lenguaje (LLMs). El documento describe el proceso de generación del conjunto de datos y destaca sus principales características en los dominios textual, visual, de diseño y de sesgo. Para demostrar la utilidad del conjunto de datos, presentamos un punto de referencia con modelos de clasificación de tokens, mostrando que el conjunto de datos plantea un desafío significativo incluso para los modelos de última generación y que estos se beneficiarían enormemente al incluir muestras del Conjunto de Datos MERIT en su fase de preentrenamiento.

English

This paper introduces the MERIT Dataset, a multimodal (text + image + layout) fully labeled dataset within the context of school reports. Comprising over 400 labels and 33k samples, the MERIT Dataset is a valuable resource for training models in demanding Visually-rich Document Understanding (VrDU) tasks. By its nature (student grade reports), the MERIT Dataset can potentially include biases in a controlled way, making it a valuable tool to benchmark biases induced in Language Models (LLMs). The paper outlines the dataset's generation pipeline and highlights its main features in the textual, visual, layout, and bias domains. To demonstrate the dataset's utility, we present a benchmark with token classification models, showing that the dataset poses a significant challenge even for SOTA models and that these would greatly benefit from including samples from the MERIT Dataset in their pretraining phase.