Self-RAG: Leren om te Retrieven, Genereren en Beoordelen via Zelfreflectie

Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection

October 17, 2023

Auteurs: Akari Asai, Zeqiu Wu, Yizhong Wang, Avirup Sil, Hannaneh Hajishirzi

cs.AI

Samenvatting

Ondanks hun opmerkelijke capaciteiten produceren grote taalmodellen (LLMs) vaak reacties die feitelijke onjuistheden bevatten vanwege hun uitsluitende afhankelijkheid van de parametrische kennis die ze omvatten. Retrieval-Augmented Generation (RAG), een ad hoc-benadering die taalmodellen versterkt met het ophalen van relevante kennis, vermindert dergelijke problemen. Het ongericht ophalen en integreren van een vast aantal opgehaalde passages, ongeacht of het ophalen noodzakelijk is of de passages relevant zijn, vermindert echter de veelzijdigheid van het taalmodel of kan leiden tot onbruikbare reacties. Wij introduceren een nieuw framework genaamd Self-Reflective Retrieval-Augmented Generation (Self-RAG) dat de kwaliteit en feitelijkheid van een taalmodel verbetert door middel van ophalen en zelfreflectie. Ons framework traint één willekeurig taalmodel dat adaptief passages ophaalt op aanvraag, en genereert en reflecteert op opgehaalde passages en zijn eigen generaties met behulp van speciale tokens, genaamd reflectietokens. Het genereren van reflectietokens maakt het taalmodel beheersbaar tijdens de inferentiefase, waardoor het zijn gedrag kan aanpassen aan diverse taakeisen. Experimenten tonen aan dat Self-RAG (7B en 13B parameters) aanzienlijk beter presteert dan state-of-the-art LLMs en retrieval-augmented modellen op een diverse set van taken. Specifiek presteert Self-RAG beter dan ChatGPT en retrieval-augmented Llama2-chat op Open-domain QA, redenering en feitenverificatietaken, en het laat significante verbeteringen zien in het verbeteren van feitelijkheid en citaatnauwkeurigheid voor langere generaties in vergelijking met deze modellen.

English

Despite their remarkable capabilities, large language models (LLMs) often produce responses containing factual inaccuracies due to their sole reliance on the parametric knowledge they encapsulate. Retrieval-Augmented Generation (RAG), an ad hoc approach that augments LMs with retrieval of relevant knowledge, decreases such issues. However, indiscriminately retrieving and incorporating a fixed number of retrieved passages, regardless of whether retrieval is necessary, or passages are relevant, diminishes LM versatility or can lead to unhelpful response generation. We introduce a new framework called Self-Reflective Retrieval-Augmented Generation (Self-RAG) that enhances an LM's quality and factuality through retrieval and self-reflection. Our framework trains a single arbitrary LM that adaptively retrieves passages on-demand, and generates and reflects on retrieved passages and its own generations using special tokens, called reflection tokens. Generating reflection tokens makes the LM controllable during the inference phase, enabling it to tailor its behavior to diverse task requirements. Experiments show that Self-RAG (7B and 13B parameters) significantly outperforms state-of-the-art LLMs and retrieval-augmented models on a diverse set of tasks. Specifically, Self-RAG outperforms ChatGPT and retrieval-augmented Llama2-chat on Open-domain QA, reasoning and fact verification tasks, and it shows significant gains in improving factuality and citation accuracy for long-form generations relative to these models.