UniversalRAG: Retrieval-Augmentierte Generierung über mehrere Korpora mit diversen Modalitäten und Granularitäten

UniversalRAG: Retrieval-Augmented Generation over Multiple Corpora with Diverse Modalities and Granularities

April 29, 2025

Autoren: Woongyeong Yeo, Kangsan Kim, Soyeong Jeong, Jinheon Baek, Sung Ju Hwang

cs.AI

Zusammenfassung

Retrieval-Augmented Generation (RAG) hat erhebliches Potenzial gezeigt, um die faktische Genauigkeit zu verbessern, indem Modellantworten mit externem, für die Anfragen relevantem Wissen untermauert werden. Die meisten bestehenden RAG-Ansätze sind jedoch auf ein rein textbasiertes Korpus beschränkt, und obwohl jüngste Bemühungen RAG auf andere Modalitäten wie Bilder und Videos ausgeweitet haben, operieren diese typischerweise über ein einzelnes modalitätsspezifisches Korpus. Im Gegensatz dazu variieren reale Anfragen stark in der Art des benötigten Wissens, das eine einzelne Wissensquelle nicht abdecken kann. Um dies zu adressieren, führen wir UniversalRAG ein, ein neuartiges RAG-Framework, das darauf ausgelegt ist, Wissen aus heterogenen Quellen mit unterschiedlichen Modalitäten und Granularitäten abzurufen und zu integrieren. Konkret schlagen wir, motiviert durch die Beobachtung, dass das Erzwingen aller Modalitäten in einen einheitlichen Repräsentationsraum, der aus einem einzigen kombinierten Korpus abgeleitet wird, eine Modalitätslücke verursacht, bei der der Abruf tendenziell Elemente aus derselben Modalität wie die Anfrage bevorzugt, einen modalitätsbewussten Routing-Mechanismus vor, der dynamisch das am besten geeignete modalitätsspezifische Korpus identifiziert und gezielte Abfragen darin durchführt. Darüber hinaus organisieren wir jede Modalität in mehrere Granularitätsebenen, was eine fein abgestimmte Abfrage ermöglicht, die auf die Komplexität und den Umfang der Anfrage zugeschnitten ist. Wir validieren UniversalRAG anhand von 8 Benchmarks, die mehrere Modalitäten umfassen, und zeigen seine Überlegenheit gegenüber modalitätsspezifischen und einheitlichen Baselines.

English

Retrieval-Augmented Generation (RAG) has shown substantial promise in improving factual accuracy by grounding model responses with external knowledge relevant to queries. However, most existing RAG approaches are limited to a text-only corpus, and while recent efforts have extended RAG to other modalities such as images and videos, they typically operate over a single modality-specific corpus. In contrast, real-world queries vary widely in the type of knowledge they require, which a single type of knowledge source cannot address. To address this, we introduce UniversalRAG, a novel RAG framework designed to retrieve and integrate knowledge from heterogeneous sources with diverse modalities and granularities. Specifically, motivated by the observation that forcing all modalities into a unified representation space derived from a single combined corpus causes a modality gap, where the retrieval tends to favor items from the same modality as the query, we propose a modality-aware routing mechanism that dynamically identifies the most appropriate modality-specific corpus and performs targeted retrieval within it. Also, beyond modality, we organize each modality into multiple granularity levels, enabling fine-tuned retrieval tailored to the complexity and scope of the query. We validate UniversalRAG on 8 benchmarks spanning multiple modalities, showing its superiority over modality-specific and unified baselines.