DocGraphLM: Документальная графовая языковая модель для извлечения информации

DocGraphLM: Documental Graph Language Model for Information Extraction

January 5, 2024

Авторы: Dongsheng Wang, Zhiqiang Ma, Armineh Nourbakhsh, Kang Gu, Sameena Shah

cs.AI

Аннотация

Достижения в области понимания визуально насыщенных документов (Visually Rich Document Understanding, VrDU) позволили осуществлять извлечение информации и ответы на вопросы по документам со сложной структурой. Появились два основных типа архитектур — модели на основе трансформеров, вдохновленные крупными языковыми моделями (LLM), и графовые нейронные сети. В данной статье мы представляем DocGraphLM — новый фреймворк, который объединяет предобученные языковые модели с графовой семантикой. Для этого мы предлагаем 1) совместную архитектуру кодировщика для представления документов и 2) новый подход к предсказанию связей для восстановления графов документов. DocGraphLM предсказывает как направления, так и расстояния между узлами, используя совместную функцию потерь, которая фокусируется на восстановлении соседних узлов и снижает значимость обнаружения удаленных узлов. Наши эксперименты на трех современных наборах данных демонстрируют устойчивое улучшение в задачах извлечения информации и ответов на вопросы при использовании графовых признаков. Более того, мы отмечаем, что применение графовых признаков ускоряет сходимость в процессе обучения, несмотря на то, что они строятся исключительно через предсказание связей.

English

Advances in Visually Rich Document Understanding (VrDU) have enabled information extraction and question answering over documents with complex layouts. Two tropes of architectures have emerged -- transformer-based models inspired by LLMs, and Graph Neural Networks. In this paper, we introduce DocGraphLM, a novel framework that combines pre-trained language models with graph semantics. To achieve this, we propose 1) a joint encoder architecture to represent documents, and 2) a novel link prediction approach to reconstruct document graphs. DocGraphLM predicts both directions and distances between nodes using a convergent joint loss function that prioritizes neighborhood restoration and downweighs distant node detection. Our experiments on three SotA datasets show consistent improvement on IE and QA tasks with the adoption of graph features. Moreover, we report that adopting the graph features accelerates convergence in the learning process during training, despite being solely constructed through link prediction.