Visión Guiada por Fragmentación Es Todo lo que Necesitas: Mejorando RAG con Comprensión Multimodal de Documentos

Vision-Guided Chunking Is All You Need: Enhancing RAG with Multimodal Document Understanding

June 19, 2025

Autores: Vishesh Tripathi, Tanmay Odapally, Indraneel Das, Uday Allu, Biddwan Ahmed

cs.AI

Resumen

Los sistemas de Generación Aumentada por Recuperación (RAG, por sus siglas en inglés) han revolucionado la recuperación de información y la respuesta a preguntas, pero los métodos tradicionales de segmentación de texto basados en fragmentos enfrentan dificultades con estructuras de documentos complejas, tablas de varias páginas, figuras incrustadas y dependencias contextuales que cruzan los límites de las páginas. Presentamos un enfoque novedoso de segmentación multimodal de documentos que aprovecha los Modelos Multimodales de Gran Escala (LMMs, por sus siglas en inglés) para procesar documentos PDF en lotes mientras mantiene la coherencia semántica y la integridad estructural. Nuestro método procesa documentos en lotes de páginas configurables con preservación de contexto entre lotes, permitiendo un manejo preciso de tablas que abarcan varias páginas, elementos visuales incrustados y contenido procedimental. Evaluamos nuestro enfoque en un conjunto de datos curados de documentos PDF con consultas elaboradas manualmente, demostrando mejoras en la calidad de los fragmentos y en el rendimiento posterior del sistema RAG. Nuestro enfoque guiado por visión logra una mayor precisión en comparación con los sistemas RAG tradicionales, con un análisis cualitativo que muestra una preservación superior de la estructura del documento y la coherencia semántica.

English

Retrieval-Augmented Generation (RAG) systems have revolutionized information retrieval and question answering, but traditional text-based chunking methods struggle with complex document structures, multi-page tables, embedded figures, and contextual dependencies across page boundaries. We present a novel multimodal document chunking approach that leverages Large Multimodal Models (LMMs) to process PDF documents in batches while maintaining semantic coherence and structural integrity. Our method processes documents in configurable page batches with cross-batch context preservation, enabling accurate handling of tables spanning multiple pages, embedded visual elements, and procedural content. We evaluate our approach on a curated dataset of PDF documents with manually crafted queries, demonstrating improvements in chunk quality and downstream RAG performance. Our vision-guided approach achieves better accuracy compared to traditional vanilla RAG systems, with qualitative analysis showing superior preservation of document structure and semantic coherence.