DocGraphLM : Modèle de Langage Graphique Documentaire pour l'Extraction d'Informations

DocGraphLM: Documental Graph Language Model for Information Extraction

January 5, 2024

Auteurs: Dongsheng Wang, Zhiqiang Ma, Armineh Nourbakhsh, Kang Gu, Sameena Shah

cs.AI

Résumé

Les avancées dans la compréhension des documents visuellement riches (Visually Rich Document Understanding, VrDU) ont permis l'extraction d'informations et le question-réponse sur des documents présentant des mises en page complexes. Deux types d'architectures ont émergé : les modèles basés sur les transformateurs, inspirés des modèles de langage de grande taille (LLMs), et les réseaux de neurones graphiques (Graph Neural Networks). Dans cet article, nous présentons DocGraphLM, un nouveau cadre qui combine des modèles de langage pré-entraînés avec la sémantique des graphes. Pour y parvenir, nous proposons 1) une architecture d'encodeur conjoint pour représenter les documents, et 2) une nouvelle approche de prédiction de liens pour reconstruire les graphes de documents. DocGraphLM prédit à la fois les directions et les distances entre les nœuds en utilisant une fonction de perte conjointe convergente qui priorise la restauration du voisinage et atténue la détection des nœuds distants. Nos expériences sur trois ensembles de données de pointe (SotA) montrent une amélioration constante des tâches d'extraction d'informations (IE) et de question-réponse (QA) grâce à l'adoption des caractéristiques graphiques. De plus, nous constatons que l'utilisation des caractéristiques graphiques accélère la convergence lors du processus d'apprentissage pendant l'entraînement, bien qu'elles soient uniquement construites par prédiction de liens.

English

Advances in Visually Rich Document Understanding (VrDU) have enabled information extraction and question answering over documents with complex layouts. Two tropes of architectures have emerged -- transformer-based models inspired by LLMs, and Graph Neural Networks. In this paper, we introduce DocGraphLM, a novel framework that combines pre-trained language models with graph semantics. To achieve this, we propose 1) a joint encoder architecture to represent documents, and 2) a novel link prediction approach to reconstruct document graphs. DocGraphLM predicts both directions and distances between nodes using a convergent joint loss function that prioritizes neighborhood restoration and downweighs distant node detection. Our experiments on three SotA datasets show consistent improvement on IE and QA tasks with the adoption of graph features. Moreover, we report that adopting the graph features accelerates convergence in the learning process during training, despite being solely constructed through link prediction.