RAG Adattivo Indipendente da LLM: Lascia che la Domanda Parli da Sé

LLM-Independent Adaptive RAG: Let the Question Speak for Itself

May 7, 2025

Autori: Maria Marina, Nikolay Ivanov, Sergey Pletenev, Mikhail Salnikov, Daria Galimzianova, Nikita Krayko, Vasily Konovalov, Alexander Panchenko, Viktor Moskvoretskii

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) sono inclini a produrre allucinazioni, e la Generazione Aumentata dal Recupero (RAG) aiuta a mitigare questo problema, ma a un costo computazionale elevato e con il rischio di diffondere informazioni errate. Il recupero adattivo mira a recuperare informazioni solo quando necessario, ma gli approcci esistenti si basano sulla stima dell'incertezza tramite LLM, che rimane inefficiente e poco pratica. In questo studio, introduciamo metodi di recupero adattivo leggeri e indipendenti dagli LLM, basati su informazioni esterne. Abbiamo esaminato 27 caratteristiche, organizzate in 7 gruppi, e le loro combinazioni ibride. Abbiamo valutato questi metodi su 6 dataset di domande e risposte (QA), analizzando le prestazioni QA e l'efficienza. I risultati dimostrano che il nostro approccio eguaglia le prestazioni dei complessi metodi basati su LLM, ottenendo al contempo significativi miglioramenti in termini di efficienza, evidenziando il potenziale delle informazioni esterne per il recupero adattivo.

English

Large Language Models~(LLMs) are prone to hallucinations, and Retrieval-Augmented Generation (RAG) helps mitigate this, but at a high computational cost while risking misinformation. Adaptive retrieval aims to retrieve only when necessary, but existing approaches rely on LLM-based uncertainty estimation, which remain inefficient and impractical. In this study, we introduce lightweight LLM-independent adaptive retrieval methods based on external information. We investigated 27 features, organized into 7 groups, and their hybrid combinations. We evaluated these methods on 6 QA datasets, assessing the QA performance and efficiency. The results show that our approach matches the performance of complex LLM-based methods while achieving significant efficiency gains, demonstrating the potential of external information for adaptive retrieval.