RAG Adaptativo Independente de LLM: Deixe a Pergunta Falar por Si Mesma
LLM-Independent Adaptive RAG: Let the Question Speak for Itself
May 7, 2025
Autores: Maria Marina, Nikolay Ivanov, Sergey Pletenev, Mikhail Salnikov, Daria Galimzianova, Nikita Krayko, Vasily Konovalov, Alexander Panchenko, Viktor Moskvoretskii
cs.AI
Resumo
Modelos de Linguagem de Grande Escala (LLMs) são propensos a alucinações, e a Geração Aumentada por Recuperação (RAG) ajuda a mitigar isso, mas a um alto custo computacional e com o risco de desinformação. A recuperação adaptativa visa recuperar informações apenas quando necessário, mas as abordagens existentes dependem de estimativas de incerteza baseadas em LLMs, que permanecem ineficientes e impraticáveis. Neste estudo, introduzimos métodos leves de recuperação adaptativa independentes de LLMs, baseados em informações externas. Investigamos 27 características, organizadas em 7 grupos, e suas combinações híbridas. Avaliamos esses métodos em 6 conjuntos de dados de perguntas e respostas (QA), medindo o desempenho e a eficiência. Os resultados mostram que nossa abordagem iguala o desempenho de métodos complexos baseados em LLMs, ao mesmo tempo em que alcança ganhos significativos de eficiência, demonstrando o potencial das informações externas para a recuperação adaptativa.
English
Large Language Models~(LLMs) are prone to hallucinations, and
Retrieval-Augmented Generation (RAG) helps mitigate this, but at a high
computational cost while risking misinformation. Adaptive retrieval aims to
retrieve only when necessary, but existing approaches rely on LLM-based
uncertainty estimation, which remain inefficient and impractical. In this
study, we introduce lightweight LLM-independent adaptive retrieval methods
based on external information. We investigated 27 features, organized into 7
groups, and their hybrid combinations. We evaluated these methods on 6 QA
datasets, assessing the QA performance and efficiency. The results show that
our approach matches the performance of complex LLM-based methods while
achieving significant efficiency gains, demonstrating the potential of external
information for adaptive retrieval.