UniversalRAG: Generazione Aumentata dal Recupero su Multipli Corpora con Modalità e Granularità Diversificate

UniversalRAG: Retrieval-Augmented Generation over Multiple Corpora with Diverse Modalities and Granularities

April 29, 2025

Autori: Woongyeong Yeo, Kangsan Kim, Soyeong Jeong, Jinheon Baek, Sung Ju Hwang

cs.AI

Abstract

La Generazione Aumentata dal Recupero (RAG) ha dimostrato un potenziale significativo nel migliorare l'accuratezza fattuale, ancorando le risposte del modello a conoscenze esterne rilevanti per le query. Tuttavia, la maggior parte degli approcci RAG esistenti si limita a un corpus esclusivamente testuale, e sebbene recenti sforzi abbiano esteso il RAG ad altre modalità come immagini e video, questi operano tipicamente su un corpus specifico per una singola modalità. Al contrario, le query del mondo reale variano ampiamente nel tipo di conoscenza richiesta, che una singola fonte di conoscenza non può soddisfare. Per affrontare questo problema, introduciamo UniversalRAG, un nuovo framework RAG progettato per recuperare e integrare conoscenze da fonti eterogenee con modalità e granularità diverse. Nello specifico, motivati dall'osservazione che forzare tutte le modalità in uno spazio di rappresentazione unificato derivato da un unico corpus combinato causa un divario di modalità, in cui il recupero tende a favorire elementi della stessa modalità della query, proponiamo un meccanismo di routing consapevole della modalità che identifica dinamicamente il corpus specifico per la modalità più appropriato ed esegue un recupero mirato al suo interno. Inoltre, oltre alla modalità, organizziamo ciascuna modalità in più livelli di granularità, consentendo un recupero raffinato adattato alla complessità e all'ambito della query. Validiamo UniversalRAG su 8 benchmark che coprono più modalità, dimostrando la sua superiorità rispetto ai baseline specifici per modalità e unificati.

English

Retrieval-Augmented Generation (RAG) has shown substantial promise in improving factual accuracy by grounding model responses with external knowledge relevant to queries. However, most existing RAG approaches are limited to a text-only corpus, and while recent efforts have extended RAG to other modalities such as images and videos, they typically operate over a single modality-specific corpus. In contrast, real-world queries vary widely in the type of knowledge they require, which a single type of knowledge source cannot address. To address this, we introduce UniversalRAG, a novel RAG framework designed to retrieve and integrate knowledge from heterogeneous sources with diverse modalities and granularities. Specifically, motivated by the observation that forcing all modalities into a unified representation space derived from a single combined corpus causes a modality gap, where the retrieval tends to favor items from the same modality as the query, we propose a modality-aware routing mechanism that dynamically identifies the most appropriate modality-specific corpus and performs targeted retrieval within it. Also, beyond modality, we organize each modality into multiple granularity levels, enabling fine-tuned retrieval tailored to the complexity and scope of the query. We validate UniversalRAG on 8 benchmarks spanning multiple modalities, showing its superiority over modality-specific and unified baselines.