Der MERIT-Datensatz: Modellierung und effiziente Darstellung interpretierbarer Transkripte.

The MERIT Dataset: Modelling and Efficiently Rendering Interpretable Transcripts

August 31, 2024

Autoren: I. de Rodrigo, A. Sanchez-Cuadrado, J. Boal, A. J. Lopez-Lopez

cs.AI

Zusammenfassung

Dieses Paper stellt das MERIT-Datenset vor, ein multimodales (Text + Bild + Layout) vollständig beschriftetes Datenset im Kontext von Schulberichten. Mit über 400 Labels und 33.000 Beispielen ist das MERIT-Datenset eine wertvolle Ressource für das Training von Modellen in anspruchsvollen Aufgaben des Verstehens von visuell-reichen Dokumenten (VrDU). Durch seine Natur (Schülernotenberichte) kann das MERIT-Datenset potenziell auf kontrollierte Weise Voreingenommenheiten enthalten, was es zu einem wertvollen Werkzeug macht, um Voreingenommenheiten zu bewerten, die in Sprachmodellen (LLMs) induziert werden. Das Paper skizziert den Generierungsprozess des Datensets und hebt seine Hauptmerkmale in den textuellen, visuellen, Layout- und Bias-Bereichen hervor. Um die Nützlichkeit des Datensets zu demonstrieren, präsentieren wir einen Leistungsvergleich mit Token-Klassifikationsmodellen, der zeigt, dass das Datenset selbst für modernste Modelle eine bedeutende Herausforderung darstellt und dass diese erheblich davon profitieren würden, wenn sie Beispiele aus dem MERIT-Datenset in ihre Vortrainingsphase einbeziehen würden.

English

This paper introduces the MERIT Dataset, a multimodal (text + image + layout) fully labeled dataset within the context of school reports. Comprising over 400 labels and 33k samples, the MERIT Dataset is a valuable resource for training models in demanding Visually-rich Document Understanding (VrDU) tasks. By its nature (student grade reports), the MERIT Dataset can potentially include biases in a controlled way, making it a valuable tool to benchmark biases induced in Language Models (LLMs). The paper outlines the dataset's generation pipeline and highlights its main features in the textual, visual, layout, and bias domains. To demonstrate the dataset's utility, we present a benchmark with token classification models, showing that the dataset poses a significant challenge even for SOTA models and that these would greatly benefit from including samples from the MERIT Dataset in their pretraining phase.