Visão Orientada por Segmentação é Tudo o que Você Precisa: Aprimorando RAG com Compreensão Multimodal de Documentos

Vision-Guided Chunking Is All You Need: Enhancing RAG with Multimodal Document Understanding

June 19, 2025

Autores: Vishesh Tripathi, Tanmay Odapally, Indraneel Das, Uday Allu, Biddwan Ahmed

cs.AI

Resumo

Os sistemas de Geração Aumentada por Recuperação (RAG) revolucionaram a recuperação de informações e a resposta a perguntas, mas os métodos tradicionais de segmentação de texto baseados em blocos enfrentam dificuldades com estruturas complexas de documentos, tabelas de várias páginas, figuras incorporadas e dependências contextuais que atravessam os limites das páginas. Apresentamos uma nova abordagem de segmentação multimodal de documentos que utiliza Modelos Multimodais de Grande Escala (LMMs) para processar documentos PDF em lotes, mantendo a coerência semântica e a integridade estrutural. Nosso método processa documentos em lotes de páginas configuráveis com preservação de contexto entre lotes, permitindo o tratamento preciso de tabelas que abrangem várias páginas, elementos visuais incorporados e conteúdo procedural. Avaliamos nossa abordagem em um conjunto de dados curado de documentos PDF com consultas elaboradas manualmente, demonstrando melhorias na qualidade dos segmentos e no desempenho subsequente do RAG. Nossa abordagem guiada por visão alcança maior precisão em comparação com os sistemas RAG tradicionais, com análise qualitativa mostrando uma preservação superior da estrutura do documento e da coerência semântica.

English

Retrieval-Augmented Generation (RAG) systems have revolutionized information retrieval and question answering, but traditional text-based chunking methods struggle with complex document structures, multi-page tables, embedded figures, and contextual dependencies across page boundaries. We present a novel multimodal document chunking approach that leverages Large Multimodal Models (LMMs) to process PDF documents in batches while maintaining semantic coherence and structural integrity. Our method processes documents in configurable page batches with cross-batch context preservation, enabling accurate handling of tables spanning multiple pages, embedded visual elements, and procedural content. We evaluate our approach on a curated dataset of PDF documents with manually crafted queries, demonstrating improvements in chunk quality and downstream RAG performance. Our vision-guided approach achieves better accuracy compared to traditional vanilla RAG systems, with qualitative analysis showing superior preservation of document structure and semantic coherence.