VisDoM: Multi-Document Vraag-antwoordsysteem met Visueel Rijke Elementen door middel van Multimodale Retrieval-Versterkte Generatie

VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation

December 14, 2024

Auteurs: Manan Suri, Puneet Mathur, Franck Dernoncourt, Kanika Goswami, Ryan A. Rossi, Dinesh Manocha

cs.AI

Samenvatting

Het begrijpen van informatie uit een verzameling van meerdere documenten, met name die met visueel rijke elementen, is belangrijk voor vraagbeantwoording op basis van documenten. Dit artikel introduceert VisDoMBench, de eerste uitgebreide benchmark ontworpen om QA-systemen te evalueren in multi-document instellingen met rijke multimodale inhoud, waaronder tabellen, grafieken en presentaties. We stellen VisDoMRAG voor, een nieuw multimodaal Retrieval Augmented Generation (RAG) benadering die gelijktijdig visuele en tekstuele RAG gebruikt, waarbij robuuste visuele ophaalmogelijkheden worden gecombineerd met geavanceerde linguïstische redenering. VisDoMRAG maakt gebruik van een meerstaps redeneerproces dat bewijscuratie en keten-van-gedachten redenering omvat voor gelijktijdige tekstuele en visuele RAG-pipelines. Een belangrijke nieuwigheid van VisDoMRAG is het consistentie-beperkte modaliteitenfusie mechanisme, dat de redeneerprocessen over modaliteiten afstemt op inferentietijd om een coherente uiteindelijke antwoord te produceren. Dit leidt tot verbeterde nauwkeurigheid in scenario's waar kritieke informatie over modaliteiten is verdeeld en verbeterde antwoordverifieerbaarheid door impliciete contexttoewijzing. Via uitgebreide experimenten met open-source en eigen grote taalmodellen, benchmarken we state-of-the-art document QA-methoden op VisDoMBench. Uitgebreide resultaten tonen aan dat VisDoMRAG beter presteert dan unimodale en lange-context LLM-baselines voor end-to-end multimodale document QA met 12-20%.

English

Understanding information from a collection of multiple documents, particularly those with visually rich elements, is important for document-grounded question answering. This paper introduces VisDoMBench, the first comprehensive benchmark designed to evaluate QA systems in multi-document settings with rich multimodal content, including tables, charts, and presentation slides. We propose VisDoMRAG, a novel multimodal Retrieval Augmented Generation (RAG) approach that simultaneously utilizes visual and textual RAG, combining robust visual retrieval capabilities with sophisticated linguistic reasoning. VisDoMRAG employs a multi-step reasoning process encompassing evidence curation and chain-of-thought reasoning for concurrent textual and visual RAG pipelines. A key novelty of VisDoMRAG is its consistency-constrained modality fusion mechanism, which aligns the reasoning processes across modalities at inference time to produce a coherent final answer. This leads to enhanced accuracy in scenarios where critical information is distributed across modalities and improved answer verifiability through implicit context attribution. Through extensive experiments involving open-source and proprietary large language models, we benchmark state-of-the-art document QA methods on VisDoMBench. Extensive results show that VisDoMRAG outperforms unimodal and long-context LLM baselines for end-to-end multimodal document QA by 12-20%.