UniversalRAG: 다양한 모달리티와 세분화 수준을 가진 다중 코퍼스에 대한 검색 증강 생성

UniversalRAG: Retrieval-Augmented Generation over Multiple Corpora with Diverse Modalities and Granularities

April 29, 2025

저자: Woongyeong Yeo, Kangsan Kim, Soyeong Jeong, Jinheon Baek, Sung Ju Hwang

cs.AI

초록

검색 증강 생성(Retrieval-Augmented Generation, RAG)은 외부 지식을 활용해 모델 응답의 사실적 정확성을 향상시키는 데 상당한 가능성을 보여왔습니다. 그러나 대부분의 기존 RAG 접근법은 텍스트 전용 코퍼스에 국한되어 있으며, 최근 이미지와 비디오와 같은 다른 모달리티로 RAG를 확장하려는 시도가 있지만, 이들은 일반적으로 단일 모달리티 특정 코퍼스에서 작동합니다. 반면, 실제 세계의 질문은 필요한 지식의 유형이 매우 다양하며, 단일 유형의 지식 소스로는 이를 해결할 수 없습니다. 이를 해결하기 위해 우리는 다양한 모달리티와 세분화 수준을 가진 이종 소스에서 지식을 검색하고 통합하도록 설계된 새로운 RAG 프레임워크인 UniversalRAG를 소개합니다. 구체적으로, 모든 모달리티를 단일 통합 코퍼스에서 파생된 통일된 표현 공간으로 강제할 경우 모달리티 간 격차가 발생하여 검색이 질문과 동일한 모달리티의 항목을 선호하는 현상을 관찰한 바, 이를 해결하기 위해 가장 적합한 모달리티 특정 코퍼스를 동적으로 식별하고 그 안에서 대상 검색을 수행하는 모달리티 인식 라우팅 메커니즘을 제안합니다. 또한, 모달리티를 넘어 각 모달리티를 여러 세분화 수준으로 조직화하여 질문의 복잡성과 범위에 맞춘 세밀한 검색이 가능하도록 합니다. 우리는 UniversalRAG를 여러 모달리티에 걸친 8개의 벤치마크에서 검증하여 모달리티 특정 및 통합 기준선 대비 우수성을 입증했습니다.

English

Retrieval-Augmented Generation (RAG) has shown substantial promise in improving factual accuracy by grounding model responses with external knowledge relevant to queries. However, most existing RAG approaches are limited to a text-only corpus, and while recent efforts have extended RAG to other modalities such as images and videos, they typically operate over a single modality-specific corpus. In contrast, real-world queries vary widely in the type of knowledge they require, which a single type of knowledge source cannot address. To address this, we introduce UniversalRAG, a novel RAG framework designed to retrieve and integrate knowledge from heterogeneous sources with diverse modalities and granularities. Specifically, motivated by the observation that forcing all modalities into a unified representation space derived from a single combined corpus causes a modality gap, where the retrieval tends to favor items from the same modality as the query, we propose a modality-aware routing mechanism that dynamically identifies the most appropriate modality-specific corpus and performs targeted retrieval within it. Also, beyond modality, we organize each modality into multiple granularity levels, enabling fine-tuned retrieval tailored to the complexity and scope of the query. We validate UniversalRAG on 8 benchmarks spanning multiple modalities, showing its superiority over modality-specific and unified baselines.