UniversalRAG: Генерация с расширением поиска на основе множества корпусов с разнообразными модальностями и уровнями детализации

UniversalRAG: Retrieval-Augmented Generation over Multiple Corpora with Diverse Modalities and Granularities

April 29, 2025

Авторы: Woongyeong Yeo, Kangsan Kim, Soyeong Jeong, Jinheon Baek, Sung Ju Hwang

cs.AI

Аннотация

Метод генерации с усилением поиска (Retrieval-Augmented Generation, RAG) продемонстрировал значительный потенциал в повышении фактической точности, обогащая ответы модели внешними знаниями, релевантными запросам. Однако большинство существующих подходов RAG ограничиваются текстовыми корпусами, и хотя недавние работы расширили RAG на другие модальности, такие как изображения и видео, они обычно работают с корпусами, специфичными для одной модальности. В то же время реальные запросы сильно различаются по типу требуемых знаний, что не может быть охвачено одним типом источника знаний. Для решения этой проблемы мы представляем UniversalRAG — новый RAG-фреймворк, предназначенный для извлечения и интеграции знаний из гетерогенных источников с различными модальностями и уровнями детализации. В частности, основываясь на наблюдении, что принудительное объединение всех модальностей в единое пространство представлений, полученное из одного общего корпуса, вызывает разрыв модальностей, при котором поиск склонен отдавать предпочтение элементам той же модальности, что и запрос, мы предлагаем механизм маршрутизации с учетом модальностей, который динамически определяет наиболее подходящий корпус для конкретной модальности и выполняет целенаправленный поиск в нем. Кроме того, помимо модальностей, мы организуем каждую модальность на несколько уровней детализации, что позволяет проводить точный поиск, адаптированный к сложности и объему запроса. Мы проверяем UniversalRAG на 8 тестовых наборах, охватывающих несколько модальностей, демонстрируя его превосходство над подходами, специфичными для одной модальности, и унифицированными базовыми методами.

English

Retrieval-Augmented Generation (RAG) has shown substantial promise in improving factual accuracy by grounding model responses with external knowledge relevant to queries. However, most existing RAG approaches are limited to a text-only corpus, and while recent efforts have extended RAG to other modalities such as images and videos, they typically operate over a single modality-specific corpus. In contrast, real-world queries vary widely in the type of knowledge they require, which a single type of knowledge source cannot address. To address this, we introduce UniversalRAG, a novel RAG framework designed to retrieve and integrate knowledge from heterogeneous sources with diverse modalities and granularities. Specifically, motivated by the observation that forcing all modalities into a unified representation space derived from a single combined corpus causes a modality gap, where the retrieval tends to favor items from the same modality as the query, we propose a modality-aware routing mechanism that dynamically identifies the most appropriate modality-specific corpus and performs targeted retrieval within it. Also, beyond modality, we organize each modality into multiple granularity levels, enabling fine-tuned retrieval tailored to the complexity and scope of the query. We validate UniversalRAG on 8 benchmarks spanning multiple modalities, showing its superiority over modality-specific and unified baselines.