O Conjunto de Dados MERIT: Modelagem e Renderização Eficiente de Transcrições Interpretáveis

The MERIT Dataset: Modelling and Efficiently Rendering Interpretable Transcripts

August 31, 2024

Autores: I. de Rodrigo, A. Sanchez-Cuadrado, J. Boal, A. J. Lopez-Lopez

cs.AI

Resumo

Este artigo apresenta o Conjunto de Dados MERIT, um conjunto de dados multimodal (texto + imagem + layout) totalmente rotulado no contexto de relatórios escolares. Com mais de 400 rótulos e 33 mil amostras, o Conjunto de Dados MERIT é um recurso valioso para treinar modelos em tarefas exigentes de Compreensão de Documentos Visualmente Ricos (VrDU). Por sua natureza (relatórios de notas de alunos), o Conjunto de Dados MERIT pode potencialmente incluir vieses de forma controlada, tornando-se uma ferramenta valiosa para avaliar vieses induzidos em Modelos de Linguagem (LLMs). O artigo descreve o pipeline de geração do conjunto de dados e destaca suas principais características nos domínios textual, visual, de layout e de viés. Para demonstrar a utilidade do conjunto de dados, apresentamos um benchmark com modelos de classificação de tokens, mostrando que o conjunto de dados representa um desafio significativo mesmo para modelos de última geração e que estes se beneficiariam enormemente ao incluir amostras do Conjunto de Dados MERIT em sua fase de pré-treinamento.

English

This paper introduces the MERIT Dataset, a multimodal (text + image + layout) fully labeled dataset within the context of school reports. Comprising over 400 labels and 33k samples, the MERIT Dataset is a valuable resource for training models in demanding Visually-rich Document Understanding (VrDU) tasks. By its nature (student grade reports), the MERIT Dataset can potentially include biases in a controlled way, making it a valuable tool to benchmark biases induced in Language Models (LLMs). The paper outlines the dataset's generation pipeline and highlights its main features in the textual, visual, layout, and bias domains. To demonstrate the dataset's utility, we present a benchmark with token classification models, showing that the dataset poses a significant challenge even for SOTA models and that these would greatly benefit from including samples from the MERIT Dataset in their pretraining phase.