RAG Adaptatif Indépendant des LLM : Laissez la question parler d'elle-même

LLM-Independent Adaptive RAG: Let the Question Speak for Itself

May 7, 2025

Auteurs: Maria Marina, Nikolay Ivanov, Sergey Pletenev, Mikhail Salnikov, Daria Galimzianova, Nikita Krayko, Vasily Konovalov, Alexander Panchenko, Viktor Moskvoretskii

cs.AI

Résumé

Les grands modèles de langage (LLM) sont sujets aux hallucinations, et la génération augmentée par récupération (RAG) aide à atténuer ce problème, mais à un coût computationnel élevé tout en risquant de propager des informations erronées. La récupération adaptative vise à récupérer uniquement lorsque c'est nécessaire, mais les approches existantes reposent sur l'estimation de l'incertitude basée sur les LLM, qui reste inefficace et peu pratique. Dans cette étude, nous introduisons des méthodes légères de récupération adaptative indépendantes des LLM, basées sur des informations externes. Nous avons étudié 27 caractéristiques, organisées en 7 groupes, ainsi que leurs combinaisons hybrides. Nous avons évalué ces méthodes sur 6 ensembles de données de questions-réponses (QA), en mesurant les performances en QA et l'efficacité. Les résultats montrent que notre approche atteint des performances comparables à celles des méthodes complexes basées sur les LLM tout en obtenant des gains d'efficacité significatifs, démontrant ainsi le potentiel des informations externes pour la récupération adaptative.

English

Large Language Models~(LLMs) are prone to hallucinations, and Retrieval-Augmented Generation (RAG) helps mitigate this, but at a high computational cost while risking misinformation. Adaptive retrieval aims to retrieve only when necessary, but existing approaches rely on LLM-based uncertainty estimation, which remain inefficient and impractical. In this study, we introduce lightweight LLM-independent adaptive retrieval methods based on external information. We investigated 27 features, organized into 7 groups, and their hybrid combinations. We evaluated these methods on 6 QA datasets, assessing the QA performance and efficiency. The results show that our approach matches the performance of complex LLM-based methods while achieving significant efficiency gains, demonstrating the potential of external information for adaptive retrieval.