LLM-Onafhankelijke Adaptieve RAG: Laat de Vraag voor Zichzelf Spreken

LLM-Independent Adaptive RAG: Let the Question Speak for Itself

May 7, 2025

Auteurs: Maria Marina, Nikolay Ivanov, Sergey Pletenev, Mikhail Salnikov, Daria Galimzianova, Nikita Krayko, Vasily Konovalov, Alexander Panchenko, Viktor Moskvoretskii

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) zijn gevoelig voor hallucinaties, en Retrieval-Augmented Generation (RAG) helpt dit te verminderen, maar tegen hoge computationale kosten en met het risico op desinformatie. Adaptieve retrieval streeft ernaar alleen te zoeken wanneer dat nodig is, maar bestaande benaderingen vertrouwen op onzekerheidschattingen gebaseerd op LLMs, wat inefficiënt en onpraktisch blijft. In deze studie introduceren we lichtgewicht, LLM-onafhankelijke adaptieve retrievalmethoden gebaseerd op externe informatie. We onderzochten 27 kenmerken, ingedeeld in 7 groepen, en hun hybride combinaties. We evalueerden deze methoden op 6 vraag-antwoord (QA) datasets, waarbij we de QA-prestaties en efficiëntie beoordeelden. De resultaten tonen aan dat onze aanpak de prestaties van complexe LLM-gebaseerde methoden evenaart, terwijl aanzienlijke efficiëntiewinsten worden behaald, wat het potentieel van externe informatie voor adaptieve retrieval aantoont.

English

Large Language Models~(LLMs) are prone to hallucinations, and Retrieval-Augmented Generation (RAG) helps mitigate this, but at a high computational cost while risking misinformation. Adaptive retrieval aims to retrieve only when necessary, but existing approaches rely on LLM-based uncertainty estimation, which remain inefficient and impractical. In this study, we introduce lightweight LLM-independent adaptive retrieval methods based on external information. We investigated 27 features, organized into 7 groups, and their hybrid combinations. We evaluated these methods on 6 QA datasets, assessing the QA performance and efficiency. The results show that our approach matches the performance of complex LLM-based methods while achieving significant efficiency gains, demonstrating the potential of external information for adaptive retrieval.