VisDoM: Preguntas y respuestas multi-documento con elementos visualmente ricos utilizando Generación con Recuperación Multimodal Mejorada.

VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation

December 14, 2024

Autores: Manan Suri, Puneet Mathur, Franck Dernoncourt, Kanika Goswami, Ryan A. Rossi, Dinesh Manocha

cs.AI

Resumen

La comprensión de la información de una colección de múltiples documentos, especialmente aquellos con elementos visualmente ricos, es importante para la respuesta a preguntas basadas en documentos. Este documento presenta VisDoMBench, el primer banco de pruebas integral diseñado para evaluar sistemas de QA en entornos de múltiples documentos con contenido multimodal rico, incluyendo tablas, gráficos y diapositivas de presentación. Proponemos VisDoMRAG, un enfoque novedoso de Recuperación Aumentada por Generación (RAG) multimodal que utiliza simultáneamente RAG visual y textual, combinando sólidas capacidades de recuperación visual con un sofisticado razonamiento lingüístico. VisDoMRAG emplea un proceso de razonamiento de múltiples pasos que abarca la curación de evidencia y el razonamiento en cadena de pensamiento para tuberías RAG textuales y visuales concurrentes. Una novedad clave de VisDoMRAG es su mecanismo de fusión de modalidades con restricciones de consistencia, que alinea los procesos de razonamiento entre modalidades en el momento de la inferencia para producir una respuesta final coherente. Esto conduce a una mayor precisión en escenarios donde la información crítica está distribuida en diferentes modalidades y a una mejor verificabilidad de respuestas a través de la atribución implícita de contexto. A través de experimentos extensos que involucran modelos de lenguaje grandes de código abierto y propietarios, evaluamos métodos de QA de documentos de vanguardia en VisDoMBench. Los resultados extensos muestran que VisDoMRAG supera a los baselines de LLM unimodales y de largo contexto para QA de documentos multimodales de extremo a extremo en un 12-20%.

English

Understanding information from a collection of multiple documents, particularly those with visually rich elements, is important for document-grounded question answering. This paper introduces VisDoMBench, the first comprehensive benchmark designed to evaluate QA systems in multi-document settings with rich multimodal content, including tables, charts, and presentation slides. We propose VisDoMRAG, a novel multimodal Retrieval Augmented Generation (RAG) approach that simultaneously utilizes visual and textual RAG, combining robust visual retrieval capabilities with sophisticated linguistic reasoning. VisDoMRAG employs a multi-step reasoning process encompassing evidence curation and chain-of-thought reasoning for concurrent textual and visual RAG pipelines. A key novelty of VisDoMRAG is its consistency-constrained modality fusion mechanism, which aligns the reasoning processes across modalities at inference time to produce a coherent final answer. This leads to enhanced accuracy in scenarios where critical information is distributed across modalities and improved answer verifiability through implicit context attribution. Through extensive experiments involving open-source and proprietary large language models, we benchmark state-of-the-art document QA methods on VisDoMBench. Extensive results show that VisDoMRAG outperforms unimodal and long-context LLM baselines for end-to-end multimodal document QA by 12-20%.