MERIT 데이터셋: 해석 가능한 트랜스크립트를 모델링하고 효율적으로 렌더링하기

The MERIT Dataset: Modelling and Efficiently Rendering Interpretable Transcripts

August 31, 2024

저자: I. de Rodrigo, A. Sanchez-Cuadrado, J. Boal, A. J. Lopez-Lopez

cs.AI

초록

본 논문은 학교 보고서의 맥락에서 다중 모달 (텍스트 + 이미지 + 레이아웃)로 구성된 완전히 레이블이 지정된 MERIT 데이터셋을 소개합니다. 400개 이상의 레이블과 33,000개의 샘플로 구성된 MERIT 데이터셋은 시각적으로 풍부한 문서 이해 (VrDU) 작업에 대한 모델 학습에 유용한 자원입니다. MERIT 데이터셋의 성겨 (학생 성적표)으로 인해, 이 데이터셋은 언어 모델 (LLMs)에서 유발된 편향을 효과적으로 포함할 수 있어, 편향을 평가하는 데 유용한 도구입니다. 본 논문은 데이터셋 생성 파이프라인을 개요하고, 텍스트, 시각적, 레이아웃 및 편향 영역에서의 주요 기능을 강조합니다. 데이터셋의 유용성을 증명하기 위해, 토큰 분류 모델을 사용한 벤치마킹을 제시하며, 데이터셋이 최신 기술 모델에도 상당한 어려움을 제공하며, 이러한 모델이 사전 학습 단계에서 MERIT 데이터셋의 샘플을 포함할 경우 크게 이점을 얻을 수 있음을 보여줍니다.

English

This paper introduces the MERIT Dataset, a multimodal (text + image + layout) fully labeled dataset within the context of school reports. Comprising over 400 labels and 33k samples, the MERIT Dataset is a valuable resource for training models in demanding Visually-rich Document Understanding (VrDU) tasks. By its nature (student grade reports), the MERIT Dataset can potentially include biases in a controlled way, making it a valuable tool to benchmark biases induced in Language Models (LLMs). The paper outlines the dataset's generation pipeline and highlights its main features in the textual, visual, layout, and bias domains. To demonstrate the dataset's utility, we present a benchmark with token classification models, showing that the dataset poses a significant challenge even for SOTA models and that these would greatly benefit from including samples from the MERIT Dataset in their pretraining phase.