Видение-ориентированное разбиение на фрагменты — это всё, что нужно: улучшение RAG с помощью мультимодального понимания документов

Vision-Guided Chunking Is All You Need: Enhancing RAG with Multimodal Document Understanding

June 19, 2025

Авторы: Vishesh Tripathi, Tanmay Odapally, Indraneel Das, Uday Allu, Biddwan Ahmed

cs.AI

Аннотация

Системы генерации с усилением поиска (Retrieval-Augmented Generation, RAG) произвели революцию в области поиска информации и ответов на вопросы, однако традиционные методы разбиения текста на фрагменты сталкиваются с трудностями при работе со сложной структурой документов, многостраничными таблицами, встроенными изображениями и контекстуальными зависимостями, выходящими за пределы одной страницы. Мы представляем новый мультимодальный подход к разбиению документов, который использует крупные мультимодальные модели (Large Multimodal Models, LMMs) для обработки PDF-документов пакетами с сохранением семантической связности и структурной целостности. Наш метод обрабатывает документы настраиваемыми пакетами страниц с сохранением контекста между пакетами, что позволяет точно работать с таблицами, охватывающими несколько страниц, встроенными визуальными элементами и процедурным содержимым. Мы оцениваем наш подход на тщательно отобранном наборе PDF-документов с ручной разработкой запросов, демонстрируя улучшения качества фрагментов и производительности RAG. Наш подход, основанный на визуальном анализе, достигает более высокой точности по сравнению с традиционными системами RAG, а качественный анализ показывает превосходное сохранение структуры документа и семантической связности.

English

Retrieval-Augmented Generation (RAG) systems have revolutionized information retrieval and question answering, but traditional text-based chunking methods struggle with complex document structures, multi-page tables, embedded figures, and contextual dependencies across page boundaries. We present a novel multimodal document chunking approach that leverages Large Multimodal Models (LMMs) to process PDF documents in batches while maintaining semantic coherence and structural integrity. Our method processes documents in configurable page batches with cross-batch context preservation, enabling accurate handling of tables spanning multiple pages, embedded visual elements, and procedural content. We evaluate our approach on a curated dataset of PDF documents with manually crafted queries, demonstrating improvements in chunk quality and downstream RAG performance. Our vision-guided approach achieves better accuracy compared to traditional vanilla RAG systems, with qualitative analysis showing superior preservation of document structure and semantic coherence.