Self-RAG: Lernen zu Recherchieren, Generieren und Bewerten durch Selbstreflexion

Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection

October 17, 2023

Autoren: Akari Asai, Zeqiu Wu, Yizhong Wang, Avirup Sil, Hannaneh Hajishirzi

cs.AI

Zusammenfassung

Trotz ihrer bemerkenswerten Fähigkeiten erzeugen große Sprachmodelle (LLMs) oft Antworten, die faktische Ungenauigkeiten enthalten, da sie sich ausschließlich auf das parametrische Wissen stützen, das sie verkapseln. Retrieval-Augmented Generation (RAG), ein ad-hoc-Ansatz, der Sprachmodelle durch das Abrufen relevanter Wissensdaten erweitert, verringert solche Probleme. Das wahllose Abrufen und Einbinden einer festen Anzahl von Textpassagen, unabhängig davon, ob ein Abruf notwendig ist oder die Passagen relevant sind, schränkt jedoch die Vielseitigkeit des Sprachmodells ein oder kann zu nutzlosen Antworten führen. Wir stellen ein neues Framework namens Self-Reflective Retrieval-Augmented Generation (Self-RAG) vor, das die Qualität und Faktentreue eines Sprachmodells durch Abruf und Selbstreflexion verbessert. Unser Framework trainiert ein einziges beliebiges Sprachmodell, das bedarfsgerecht Passagen abruft und sowohl die abgerufenen Passagen als auch seine eigenen Generierungen mithilfe spezieller Tokens, sogenannter Reflexions-Tokens, reflektiert. Die Generierung von Reflexions-Tokens macht das Sprachmodell während der Inferenzphase steuerbar und ermöglicht es, sein Verhalten an verschiedene Aufgabenanforderungen anzupassen. Experimente zeigen, dass Self-RAG (7B und 13B Parameter) state-of-the-art LLMs und retrieval-augmentierte Modelle bei einer Vielzahl von Aufgaben deutlich übertrifft. Insbesondere übertrifft Self-RAG ChatGPT und das retrieval-augmentierte Llama2-chat bei Open-Domain-QA, logischem Denken und Faktenüberprüfungsaufgaben und zeigt signifikante Verbesserungen bei der Faktentreue und Zitiergenauigkeit für langformatige Generierungen im Vergleich zu diesen Modellen.

English

Despite their remarkable capabilities, large language models (LLMs) often produce responses containing factual inaccuracies due to their sole reliance on the parametric knowledge they encapsulate. Retrieval-Augmented Generation (RAG), an ad hoc approach that augments LMs with retrieval of relevant knowledge, decreases such issues. However, indiscriminately retrieving and incorporating a fixed number of retrieved passages, regardless of whether retrieval is necessary, or passages are relevant, diminishes LM versatility or can lead to unhelpful response generation. We introduce a new framework called Self-Reflective Retrieval-Augmented Generation (Self-RAG) that enhances an LM's quality and factuality through retrieval and self-reflection. Our framework trains a single arbitrary LM that adaptively retrieves passages on-demand, and generates and reflects on retrieved passages and its own generations using special tokens, called reflection tokens. Generating reflection tokens makes the LM controllable during the inference phase, enabling it to tailor its behavior to diverse task requirements. Experiments show that Self-RAG (7B and 13B parameters) significantly outperforms state-of-the-art LLMs and retrieval-augmented models on a diverse set of tasks. Specifically, Self-RAG outperforms ChatGPT and retrieval-augmented Llama2-chat on Open-domain QA, reasoning and fact verification tasks, and it shows significant gains in improving factuality and citation accuracy for long-form generations relative to these models.