Il Dataset MERIT: Modellazione e Rendering Efficiente di Trascrizioni Interpretabili

The MERIT Dataset: Modelling and Efficiently Rendering Interpretable Transcripts

August 31, 2024

Autori: I. de Rodrigo, A. Sanchez-Cuadrado, J. Boal, A. J. Lopez-Lopez

cs.AI

Abstract

Questo articolo introduce il Dataset MERIT, un dataset multimodale (testo + immagine + layout) completamente etichettato nel contesto dei rapporti scolastici. Comprendente oltre 400 etichette e 33.000 campioni, il Dataset MERIT è una risorsa preziosa per addestrare modelli in compiti impegnativi di Comprensione di Documenti Ricchi di Elementi Visivi (VrDU). Per sua natura (rapporti di voti degli studenti), il Dataset MERIT può potenzialmente includere bias in modo controllato, rendendolo uno strumento prezioso per valutare i bias indotti nei Modelli Linguistici (LLM). L'articolo descrive il processo di generazione del dataset e mette in evidenza le sue principali caratteristiche nei domini testuale, visivo, di layout e di bias. Per dimostrare l'utilità del dataset, presentiamo una valutazione con modelli di classificazione di token, mostrando che il dataset rappresenta una sfida significativa anche per i modelli SOTA e che questi trarrebbero grandi benefici dall'inclusione di campioni dal Dataset MERIT nella fase di preaddestramento.

English

This paper introduces the MERIT Dataset, a multimodal (text + image + layout) fully labeled dataset within the context of school reports. Comprising over 400 labels and 33k samples, the MERIT Dataset is a valuable resource for training models in demanding Visually-rich Document Understanding (VrDU) tasks. By its nature (student grade reports), the MERIT Dataset can potentially include biases in a controlled way, making it a valuable tool to benchmark biases induced in Language Models (LLMs). The paper outlines the dataset's generation pipeline and highlights its main features in the textual, visual, layout, and bias domains. To demonstrate the dataset's utility, we present a benchmark with token classification models, showing that the dataset poses a significant challenge even for SOTA models and that these would greatly benefit from including samples from the MERIT Dataset in their pretraining phase.