UniversalRAG: Retrieval-Augmented Generatie over Meerdere Corpora met Diverse Modaliteiten en Granulariteiten

UniversalRAG: Retrieval-Augmented Generation over Multiple Corpora with Diverse Modalities and Granularities

April 29, 2025

Auteurs: Woongyeong Yeo, Kangsan Kim, Soyeong Jeong, Jinheon Baek, Sung Ju Hwang

cs.AI

Samenvatting

Retrieval-Augmented Generation (RAG) heeft aanzienlijke belofte getoond in het verbeteren van feitelijke nauwkeurigheid door modelreacties te verankeren met externe kennis die relevant is voor de queries. De meeste bestaande RAG-benaderingen zijn echter beperkt tot een tekstcorpus, en hoewel recente inspanningen RAG hebben uitgebreid naar andere modaliteiten zoals afbeeldingen en video's, werken ze doorgaans over een enkel modaliteitsspecifiek corpus. In tegenstelling hiermee variëren real-world queries sterk in het type kennis dat ze vereisen, wat een enkel type kennisbron niet kan adresseren. Om dit aan te pakken, introduceren we UniversalRAG, een nieuw RAG-framework ontworpen om kennis te halen en te integreren uit heterogene bronnen met diverse modaliteiten en granulariteiten. Specifiek, gemotiveerd door de observatie dat het forceren van alle modaliteiten in een uniforme representatieruimte afgeleid van een enkel gecombineerd corpus een modaliteitskloof veroorzaakt, waarbij de retrieval de neiging heeft om items te bevoordelen van dezelfde modaliteit als de query, stellen we een modaliteitsbewust routeringsmechanisme voor dat dynamisch het meest geschikte modaliteitsspecifieke corpus identificeert en gerichte retrieval daarbinnen uitvoert. Daarnaast organiseren we, naast modaliteit, elke modaliteit in meerdere granulariteitsniveaus, waardoor fijn afgestemde retrieval mogelijk wordt die is toegesneden op de complexiteit en reikwijdte van de query. We valideren UniversalRAG op 8 benchmarks die meerdere modaliteiten omvatten, en tonen de superioriteit ervan aan ten opzichte van modaliteitsspecifieke en uniforme baseline-methoden.

English

Retrieval-Augmented Generation (RAG) has shown substantial promise in improving factual accuracy by grounding model responses with external knowledge relevant to queries. However, most existing RAG approaches are limited to a text-only corpus, and while recent efforts have extended RAG to other modalities such as images and videos, they typically operate over a single modality-specific corpus. In contrast, real-world queries vary widely in the type of knowledge they require, which a single type of knowledge source cannot address. To address this, we introduce UniversalRAG, a novel RAG framework designed to retrieve and integrate knowledge from heterogeneous sources with diverse modalities and granularities. Specifically, motivated by the observation that forcing all modalities into a unified representation space derived from a single combined corpus causes a modality gap, where the retrieval tends to favor items from the same modality as the query, we propose a modality-aware routing mechanism that dynamically identifies the most appropriate modality-specific corpus and performs targeted retrieval within it. Also, beyond modality, we organize each modality into multiple granularity levels, enabling fine-tuned retrieval tailored to the complexity and scope of the query. We validate UniversalRAG on 8 benchmarks spanning multiple modalities, showing its superiority over modality-specific and unified baselines.