MERITデータセット：解釈可能なトランスクリプトのモデリングと効率的なレンダリング

The MERIT Dataset: Modelling and Efficiently Rendering Interpretable Transcripts

August 31, 2024

著者: I. de Rodrigo, A. Sanchez-Cuadrado, J. Boal, A. J. Lopez-Lopez

cs.AI

要旨

本論文では、学校の成績レポートのコンテキストにおいて、テキスト、画像、レイアウトを含む多様なモーダルで完全にラベル付けされたMERITデータセットを紹介しています。400以上のラベルと33,000以上のサンプルから成るMERITデータセットは、視覚豊かな文書理解（VrDU）タスクのモデルを訓練するための貴重なリソースです。MERITデータセットの性質（学生の成績レポート）から、制御された方法でバイアスを含める可能性があり、これは言語モデル（LLMs）に誘発されるバイアスをベンチマークするための貴重なツールとなります。論文では、データセットの生成パイプラインを概説し、テキスト、ビジュアル、レイアウト、およびバイアスの領域での主な特徴を強調しています。データセットの有用性を示すために、トークン分類モデルを使用したベンチマークを提示し、データセットがSOTAモデルにとっても大きな挑戦であり、これらのモデルが事前学習フェーズでMERITデータセットからサンプルを取り込むことで大きな恩恵を受けることが示されています。

English

This paper introduces the MERIT Dataset, a multimodal (text + image + layout) fully labeled dataset within the context of school reports. Comprising over 400 labels and 33k samples, the MERIT Dataset is a valuable resource for training models in demanding Visually-rich Document Understanding (VrDU) tasks. By its nature (student grade reports), the MERIT Dataset can potentially include biases in a controlled way, making it a valuable tool to benchmark biases induced in Language Models (LLMs). The paper outlines the dataset's generation pipeline and highlights its main features in the textual, visual, layout, and bias domains. To demonstrate the dataset's utility, we present a benchmark with token classification models, showing that the dataset poses a significant challenge even for SOTA models and that these would greatly benefit from including samples from the MERIT Dataset in their pretraining phase.