Similaridade Não É Tudo o que Você Precisa: Dotando a Geração Aumentada por Recuperação com Pensamentos Multicamadas

Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts

May 30, 2024

Autores: Chunjing Gan, Dan Yang, Binbin Hu, Hanxiao Zhang, Siyuan Li, Ziqi Liu, Yue Shen, Lin Ju, Zhiqiang Zhang, Jinjie Gu, Lei Liang, Jun Zhou

cs.AI

Resumo

Nos últimos anos, os grandes modelos de linguagem (LLMs, na sigla em inglês) alcançaram conquistas notáveis em diversos domínios. No entanto, a falta de atualização oportuna e o custo associado à atualização de conhecimento, somados aos problemas de alucinação dos LLMs, limitaram suas aplicações em tarefas que demandam conhecimento intensivo, onde a geração aumentada por recuperação (RAG, na sigla em inglês) pode ser útil. No entanto, os modelos existentes que utilizam recuperação aumentada geralmente empregam a similaridade como uma ponte entre consultas e documentos, seguindo um procedimento de "recuperar e depois ler". Neste trabalho, argumentamos que a similaridade nem sempre é a solução definitiva e que depender exclusivamente dela pode, em alguns casos, prejudicar o desempenho da geração aumentada por recuperação. Para tanto, propomos o MetRag, um framework de Geração Aumentada por Recuperação com Pensamentos MultiCamadas. Para começar, além do pensamento orientado por similaridade já existente, incorporamos um modelo de utilidade em pequena escala que obtém supervisão de um LLM para um pensamento orientado por utilidade e, em seguida, desenvolvemos um modelo mais inteligente ao combinar de forma abrangente os pensamentos orientados por similaridade e utilidade. Além disso, considerando que o conjunto de documentos recuperados tende a ser extenso e que utilizá-los isoladamente dificulta a captura de suas características e pontos em comum, propomos utilizar um LLM como um sumarizador adaptativo à tarefa, dotando a geração aumentada por recuperação de um pensamento orientado por compactação. Por fim, com os pensamentos multicamadas das etapas anteriores, um LLM é chamado para realizar a geração aumentada por conhecimento. Experimentos extensivos em tarefas que demandam conhecimento intensivo demonstraram a superioridade do MetRag.

English

In recent years, large language models (LLMs) have made remarkable achievements in various domains. However, the untimeliness and cost of knowledge updates coupled with hallucination issues of LLMs have curtailed their applications in knowledge intensive tasks, where retrieval augmented generation (RAG) can be of help. Nevertheless, existing retrieval augmented models typically use similarity as a bridge between queries and documents and follow a retrieve then read procedure. In this work, we argue that similarity is not always the panacea and totally relying on similarity would sometimes degrade the performance of retrieval augmented generation. To this end, we propose MetRag, a Multi layEred Thoughts enhanced Retrieval Augmented Generation framework. To begin with, beyond existing similarity oriented thought, we embrace a small scale utility model that draws supervision from an LLM for utility oriented thought and further come up with a smarter model by comprehensively combining the similarity and utility oriented thoughts. Furthermore, given the fact that the retrieved document set tends to be huge and using them in isolation makes it difficult to capture the commonalities and characteristics among them, we propose to make an LLM as a task adaptive summarizer to endow retrieval augmented generation with compactness-oriented thought. Finally, with multi layered thoughts from the precedent stages, an LLM is called for knowledge augmented generation. Extensive experiments on knowledge-intensive tasks have demonstrated the superiority of MetRag.