DocGraphLM: Modello Linguistico Grafico Documentale per l'Estrazione di Informazioni

DocGraphLM: Documental Graph Language Model for Information Extraction

January 5, 2024

Autori: Dongsheng Wang, Zhiqiang Ma, Armineh Nourbakhsh, Kang Gu, Sameena Shah

cs.AI

Abstract

I progressi nella comprensione di documenti visivamente complessi (Visually Rich Document Understanding, VrDU) hanno reso possibile l'estrazione di informazioni e il question answering su documenti con layout complessi. Sono emersi due approcci architetturali principali: modelli basati su transformer ispirati ai Large Language Models (LLM) e reti neurali a grafo (Graph Neural Networks). In questo articolo, introduciamo DocGraphLM, un nuovo framework che combina modelli linguistici pre-addestrati con la semantica dei grafi. Per raggiungere questo obiettivo, proponiamo 1) un'architettura di codifica congiunta per rappresentare i documenti e 2) un approccio innovativo di link prediction per ricostruire i grafi dei documenti. DocGraphLM prevede sia le direzioni che le distanze tra i nodi utilizzando una funzione di perdita congiunta convergente che privilegia il ripristino del vicinato e riduce l'importanza del rilevamento di nodi distanti. I nostri esperimenti su tre dataset all'avanguardia (SotA) mostrano un miglioramento costante nelle attività di estrazione di informazioni (IE) e question answering (QA) con l'adozione delle caratteristiche dei grafi. Inoltre, riportiamo che l'adozione delle caratteristiche dei grafi accelera la convergenza nel processo di apprendimento durante l'addestramento, nonostante siano costruite esclusivamente attraverso la link prediction.

English

Advances in Visually Rich Document Understanding (VrDU) have enabled information extraction and question answering over documents with complex layouts. Two tropes of architectures have emerged -- transformer-based models inspired by LLMs, and Graph Neural Networks. In this paper, we introduce DocGraphLM, a novel framework that combines pre-trained language models with graph semantics. To achieve this, we propose 1) a joint encoder architecture to represent documents, and 2) a novel link prediction approach to reconstruct document graphs. DocGraphLM predicts both directions and distances between nodes using a convergent joint loss function that prioritizes neighborhood restoration and downweighs distant node detection. Our experiments on three SotA datasets show consistent improvement on IE and QA tasks with the adoption of graph features. Moreover, we report that adopting the graph features accelerates convergence in the learning process during training, despite being solely constructed through link prediction.