Self-RAG: Aprendendo a Recuperar, Gerar e Criticar por meio de Autorreflexão

Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection

October 17, 2023

Autores: Akari Asai, Zeqiu Wu, Yizhong Wang, Avirup Sil, Hannaneh Hajishirzi

cs.AI

Resumo

Apesar de suas capacidades notáveis, os grandes modelos de linguagem (LLMs) frequentemente produzem respostas contendo imprecisões factuais devido à sua dependência exclusiva do conhecimento paramétrico que encapsulam. A Geração Aumentada por Recuperação (RAG), uma abordagem ad hoc que aumenta os modelos de linguagem com a recuperação de conhecimento relevante, reduz tais problemas. No entanto, recuperar e incorporar indiscriminadamente um número fixo de passagens recuperadas, independentemente de a recuperação ser necessária ou das passagens serem relevantes, diminui a versatilidade do modelo de linguagem ou pode levar à geração de respostas inúteis. Introduzimos uma nova estrutura chamada Geração Aumentada por Recuperação com Auto-Reflexão (Self-RAG) que melhora a qualidade e a factualidade de um modelo de linguagem por meio de recuperação e auto-reflexão. Nossa estrutura treina um único modelo de linguagem arbitrário que recupera passagens de forma adaptativa sob demanda, e gera e reflete sobre as passagens recuperadas e suas próprias gerações usando tokens especiais, chamados tokens de reflexão. A geração de tokens de reflexão torna o modelo de linguagem controlável durante a fase de inferência, permitindo que ele ajuste seu comportamento a diversas exigências de tarefas. Experimentos mostram que o Self-RAG (com 7B e 13B parâmetros) supera significativamente os LLMs e modelos aumentados por recuperação de última geração em um conjunto diversificado de tarefas. Especificamente, o Self-RAG supera o ChatGPT e o Llama2-chat aumentado por recuperação em tarefas de QA de domínio aberto, raciocínio e verificação de fatos, e mostra ganhos significativos na melhoria da factualidade e precisão de citações para gerações de longo formato em relação a esses modelos.

English

Despite their remarkable capabilities, large language models (LLMs) often produce responses containing factual inaccuracies due to their sole reliance on the parametric knowledge they encapsulate. Retrieval-Augmented Generation (RAG), an ad hoc approach that augments LMs with retrieval of relevant knowledge, decreases such issues. However, indiscriminately retrieving and incorporating a fixed number of retrieved passages, regardless of whether retrieval is necessary, or passages are relevant, diminishes LM versatility or can lead to unhelpful response generation. We introduce a new framework called Self-Reflective Retrieval-Augmented Generation (Self-RAG) that enhances an LM's quality and factuality through retrieval and self-reflection. Our framework trains a single arbitrary LM that adaptively retrieves passages on-demand, and generates and reflects on retrieved passages and its own generations using special tokens, called reflection tokens. Generating reflection tokens makes the LM controllable during the inference phase, enabling it to tailor its behavior to diverse task requirements. Experiments show that Self-RAG (7B and 13B parameters) significantly outperforms state-of-the-art LLMs and retrieval-augmented models on a diverse set of tasks. Specifically, Self-RAG outperforms ChatGPT and retrieval-augmented Llama2-chat on Open-domain QA, reasoning and fact verification tasks, and it shows significant gains in improving factuality and citation accuracy for long-form generations relative to these models.