VisDoM: Multi-Dokumenten-Fragen und Antworten mit visuell reichen Elementen unter Verwendung von multimodaler Retrieval-gestützter Generierung

VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation

December 14, 2024

Autoren: Manan Suri, Puneet Mathur, Franck Dernoncourt, Kanika Goswami, Ryan A. Rossi, Dinesh Manocha

cs.AI

Zusammenfassung

Das Verständnis von Informationen aus einer Sammlung mehrerer Dokumente, insbesondere solcher mit visuell reichen Elementen, ist für die belegbasierte Fragebeantwortung von Bedeutung. Diese Arbeit stellt VisDoMBench vor, den ersten umfassenden Benchmark, der entwickelt wurde, um QA-Systeme in mehrdokumentigen Umgebungen mit reichhaltigen multimodalen Inhalten wie Tabellen, Diagrammen und Präsentationsfolien zu bewerten. Wir schlagen VisDoMRAG vor, einen neuartigen multimodalen Retrieval Augmented Generation (RAG)-Ansatz vor, der gleichzeitig visuelles und textuelles RAG nutzt und robuste visuelle Abrufmöglichkeiten mit anspruchsvoller sprachlicher Argumentation kombiniert. VisDoMRAG verwendet einen mehrstufigen Argumentationsprozess, der die Beweissammlung und das Denken in Zusammenhängen für gleichzeitige textuelle und visuelle RAG-Pipelines umfasst. Eine Schlüsselneuheit von VisDoMRAG ist sein konsistenzbeschränkter Modalitätsfusionsmechanismus, der die Argumentationsprozesse über Modalitäten hinweg zur Inferenzzeit ausrichtet, um eine kohärente endgültige Antwort zu erzeugen. Dies führt zu einer verbesserten Genauigkeit in Szenarien, in denen wichtige Informationen über Modalitäten verteilt sind, und zu einer verbesserten Überprüfbarkeit der Antwort durch implizite Kontextzuweisung. Durch umfangreiche Experimente mit Open-Source- und proprietären großen Sprachmodellen bewerten wir state-of-the-art Dokument-QA-Methoden auf VisDoMBench. Umfangreiche Ergebnisse zeigen, dass VisDoMRAG unimodale und langkontextuelle LLM-Baselines für end-to-end multimodale Dokument-QA um 12-20% übertrifft.

English

Understanding information from a collection of multiple documents, particularly those with visually rich elements, is important for document-grounded question answering. This paper introduces VisDoMBench, the first comprehensive benchmark designed to evaluate QA systems in multi-document settings with rich multimodal content, including tables, charts, and presentation slides. We propose VisDoMRAG, a novel multimodal Retrieval Augmented Generation (RAG) approach that simultaneously utilizes visual and textual RAG, combining robust visual retrieval capabilities with sophisticated linguistic reasoning. VisDoMRAG employs a multi-step reasoning process encompassing evidence curation and chain-of-thought reasoning for concurrent textual and visual RAG pipelines. A key novelty of VisDoMRAG is its consistency-constrained modality fusion mechanism, which aligns the reasoning processes across modalities at inference time to produce a coherent final answer. This leads to enhanced accuracy in scenarios where critical information is distributed across modalities and improved answer verifiability through implicit context attribution. Through extensive experiments involving open-source and proprietary large language models, we benchmark state-of-the-art document QA methods on VisDoMBench. Extensive results show that VisDoMRAG outperforms unimodal and long-context LLM baselines for end-to-end multimodal document QA by 12-20%.