Vision-gesteuertes Chunking ist alles, was Sie brauchen: Verbesserung von RAG durch multimodales Dokumentverständnis

Vision-Guided Chunking Is All You Need: Enhancing RAG with Multimodal Document Understanding

June 19, 2025

Autoren: Vishesh Tripathi, Tanmay Odapally, Indraneel Das, Uday Allu, Biddwan Ahmed

cs.AI

Zusammenfassung

Retrieval-Augmented Generation (RAG)-Systeme haben die Informationsbeschaffung und Fragebeantwortung revolutioniert, doch traditionelle textbasierte Chunking-Methoden stoßen bei komplexen Dokumentstrukturen, mehrseitigen Tabellen, eingebetteten Abbildungen und kontextuellen Abhängigkeiten über Seiten hinweg an ihre Grenzen. Wir stellen einen neuartigen multimodalen Ansatz zur Dokumentsegmentierung vor, der Large Multimodal Models (LMMs) nutzt, um PDF-Dokumente in Batches zu verarbeiten, während semantische Kohärenz und strukturelle Integrität erhalten bleiben. Unser Verfahren verarbeitet Dokumente in konfigurierbaren Seitenbatches mit kontextübergreifender Erhaltung, wodurch die präzise Handhabung von mehrseitigen Tabellen, eingebetteten visuellen Elementen und prozeduralen Inhalten ermöglicht wird. Wir evaluieren unseren Ansatz anhand eines kuratierten Datensatzes von PDF-Dokumenten mit manuell erstellten Abfragen und zeigen Verbesserungen in der Chunk-Qualität und der nachgelagerten RAG-Leistung. Unser visuell gesteuerter Ansatz erzielt eine höhere Genauigkeit im Vergleich zu traditionellen Vanilla-RAG-Systemen, wobei qualitative Analysen eine überlegene Erhaltung der Dokumentstruktur und semantischen Kohärenz belegen.

English

Retrieval-Augmented Generation (RAG) systems have revolutionized information retrieval and question answering, but traditional text-based chunking methods struggle with complex document structures, multi-page tables, embedded figures, and contextual dependencies across page boundaries. We present a novel multimodal document chunking approach that leverages Large Multimodal Models (LMMs) to process PDF documents in batches while maintaining semantic coherence and structural integrity. Our method processes documents in configurable page batches with cross-batch context preservation, enabling accurate handling of tables spanning multiple pages, embedded visual elements, and procedural content. We evaluate our approach on a curated dataset of PDF documents with manually crafted queries, demonstrating improvements in chunk quality and downstream RAG performance. Our vision-guided approach achieves better accuracy compared to traditional vanilla RAG systems, with qualitative analysis showing superior preservation of document structure and semantic coherence.