RAG Adaptativo Independiente de LLM: Deja que la Pregunta Hable por Sí Misma

LLM-Independent Adaptive RAG: Let the Question Speak for Itself

May 7, 2025

Autores: Maria Marina, Nikolay Ivanov, Sergey Pletenev, Mikhail Salnikov, Daria Galimzianova, Nikita Krayko, Vasily Konovalov, Alexander Panchenko, Viktor Moskvoretskii

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs) son propensos a las alucinaciones, y la Generación Aumentada por Recuperación (RAG) ayuda a mitigar esto, pero con un alto costo computacional y el riesgo de desinformación. La recuperación adaptativa busca recuperar información solo cuando es necesario, pero los enfoques existentes dependen de la estimación de incertidumbre basada en LLMs, lo que sigue siendo ineficiente e impracticable. En este estudio, introducimos métodos ligeros de recuperación adaptativa independientes de LLMs, basados en información externa. Investigamos 27 características, organizadas en 7 grupos, y sus combinaciones híbridas. Evaluamos estos métodos en 6 conjuntos de datos de preguntas y respuestas (QA), analizando el rendimiento y la eficiencia. Los resultados muestran que nuestro enfoque iguala el rendimiento de los métodos complejos basados en LLMs, logrando mejoras significativas en eficiencia, lo que demuestra el potencial de la información externa para la recuperación adaptativa.

English

Large Language Models~(LLMs) are prone to hallucinations, and Retrieval-Augmented Generation (RAG) helps mitigate this, but at a high computational cost while risking misinformation. Adaptive retrieval aims to retrieve only when necessary, but existing approaches rely on LLM-based uncertainty estimation, which remain inefficient and impractical. In this study, we introduce lightweight LLM-independent adaptive retrieval methods based on external information. We investigated 27 features, organized into 7 groups, and their hybrid combinations. We evaluated these methods on 6 QA datasets, assessing the QA performance and efficiency. The results show that our approach matches the performance of complex LLM-based methods while achieving significant efficiency gains, demonstrating the potential of external information for adaptive retrieval.