UniversalRAG: Geração Aumentada por Recuperação sobre Múltiplos Corpora com Diferentes Modalidades e Granularidades

UniversalRAG: Retrieval-Augmented Generation over Multiple Corpora with Diverse Modalities and Granularities

April 29, 2025

Autores: Woongyeong Yeo, Kangsan Kim, Soyeong Jeong, Jinheon Baek, Sung Ju Hwang

cs.AI

Resumo

A Geração Aumentada por Recuperação (RAG, do inglês Retrieval-Augmented Generation) tem demonstrado um potencial significativo para melhorar a precisão factual ao fundamentar as respostas do modelo com conhecimento externo relevante para as consultas. No entanto, a maioria das abordagens existentes de RAG limita-se a um corpus exclusivamente textual, e embora esforços recentes tenham estendido o RAG para outras modalidades, como imagens e vídeos, eles geralmente operam sobre um corpus específico de uma única modalidade. Em contraste, as consultas do mundo real variam amplamente no tipo de conhecimento que exigem, o qual uma única fonte de conhecimento não pode atender. Para resolver isso, introduzimos o UniversalRAG, uma nova estrutura RAG projetada para recuperar e integrar conhecimento de fontes heterogêneas com diversas modalidades e granularidades. Especificamente, motivados pela observação de que forçar todas as modalidades em um espaço de representação unificado derivado de um único corpus combinado causa uma lacuna de modalidade, onde a recuperação tende a favorecer itens da mesma modalidade da consulta, propomos um mecanismo de roteamento consciente da modalidade que identifica dinamicamente o corpus específico da modalidade mais apropriado e realiza uma recuperação direcionada dentro dele. Além disso, além da modalidade, organizamos cada modalidade em múltiplos níveis de granularidade, permitindo uma recuperação ajustada à complexidade e ao escopo da consulta. Validamos o UniversalRAG em 8 benchmarks abrangendo múltiplas modalidades, demonstrando sua superioridade em relação a baselines específicos de modalidade e unificados.

English

Retrieval-Augmented Generation (RAG) has shown substantial promise in improving factual accuracy by grounding model responses with external knowledge relevant to queries. However, most existing RAG approaches are limited to a text-only corpus, and while recent efforts have extended RAG to other modalities such as images and videos, they typically operate over a single modality-specific corpus. In contrast, real-world queries vary widely in the type of knowledge they require, which a single type of knowledge source cannot address. To address this, we introduce UniversalRAG, a novel RAG framework designed to retrieve and integrate knowledge from heterogeneous sources with diverse modalities and granularities. Specifically, motivated by the observation that forcing all modalities into a unified representation space derived from a single combined corpus causes a modality gap, where the retrieval tends to favor items from the same modality as the query, we propose a modality-aware routing mechanism that dynamically identifies the most appropriate modality-specific corpus and performs targeted retrieval within it. Also, beyond modality, we organize each modality into multiple granularity levels, enabling fine-tuned retrieval tailored to the complexity and scope of the query. We validate UniversalRAG on 8 benchmarks spanning multiple modalities, showing its superiority over modality-specific and unified baselines.