LLM 독립적 적응형 RAG: 질문이 스스로 말하게 하라

LLM-Independent Adaptive RAG: Let the Question Speak for Itself

May 7, 2025

저자: Maria Marina, Nikolay Ivanov, Sergey Pletenev, Mikhail Salnikov, Daria Galimzianova, Nikita Krayko, Vasily Konovalov, Alexander Panchenko, Viktor Moskvoretskii

cs.AI

초록

대형 언어 모델(LLMs)은 환각 현상에 취약하며, 검색 증강 생성(Retrieval-Augmented Generation, RAG)은 이를 완화하는 데 도움을 주지만, 높은 계산 비용과 잘못된 정보의 위험을 수반합니다. 적응형 검색은 필요할 때만 검색을 수행하는 것을 목표로 하지만, 기존 접근 방식은 LLM 기반의 불확실성 추정에 의존하여 여전히 비효율적이고 실용적이지 못합니다. 본 연구에서는 외부 정보를 기반으로 한 경량화된 LLM 독립적 적응형 검색 방법을 소개합니다. 우리는 7개 그룹으로 구성된 27개의 특징과 이들의 혼합 조합을 조사했습니다. 이러한 방법들을 6개의 질의응답(QA) 데이터셋에서 평가하여 QA 성능과 효율성을 측정했습니다. 결과적으로, 우리의 접근 방식은 복잡한 LLM 기반 방법과 동등한 성능을 유지하면서도 상당한 효율성 향상을 달성했으며, 적응형 검색을 위한 외부 정보의 잠재력을 입증했습니다.

English

Large Language Models~(LLMs) are prone to hallucinations, and Retrieval-Augmented Generation (RAG) helps mitigate this, but at a high computational cost while risking misinformation. Adaptive retrieval aims to retrieve only when necessary, but existing approaches rely on LLM-based uncertainty estimation, which remain inefficient and impractical. In this study, we introduce lightweight LLM-independent adaptive retrieval methods based on external information. We investigated 27 features, organized into 7 groups, and their hybrid combinations. We evaluated these methods on 6 QA datasets, assessing the QA performance and efficiency. The results show that our approach matches the performance of complex LLM-based methods while achieving significant efficiency gains, demonstrating the potential of external information for adaptive retrieval.