La similitud no es todo lo que necesitas: Dotando a la Generación Aumentada por Recuperación con Pensamientos Multicapa

Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts

May 30, 2024

Autores: Chunjing Gan, Dan Yang, Binbin Hu, Hanxiao Zhang, Siyuan Li, Ziqi Liu, Yue Shen, Lin Ju, Zhiqiang Zhang, Jinjie Gu, Lei Liang, Jun Zhou

cs.AI

Resumen

En los últimos años, los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han logrado avances notables en diversos dominios. Sin embargo, la falta de actualización oportuna y el costo de la actualización del conocimiento, junto con los problemas de alucinación de los LLMs, han limitado su aplicación en tareas intensivas en conocimiento, donde la generación aumentada por recuperación (RAG, por sus siglas en inglés) puede ser de ayuda. No obstante, los modelos existentes aumentados por recuperación suelen utilizar la similitud como puente entre consultas y documentos, siguiendo un procedimiento de recuperar y luego leer. En este trabajo, argumentamos que la similitud no siempre es la panacea y que depender completamente de ella puede, en ocasiones, degradar el rendimiento de la generación aumentada por recuperación. Con este fin, proponemos MetRag, un marco de Generación Aumentada por Recuperación mejorado con Pensamientos Multicapa. Para empezar, más allá del pensamiento orientado a la similitud existente, adoptamos un modelo de utilidad a pequeña escala que obtiene supervisión de un LLM para un pensamiento orientado a la utilidad y, además, desarrollamos un modelo más inteligente al combinar de manera integral los pensamientos orientados a la similitud y a la utilidad. Además, dado que el conjunto de documentos recuperados tiende a ser extenso y su uso aislado dificulta captar las similitudes y características entre ellos, proponemos utilizar un LLM como resumidor adaptativo a la tarea para dotar a la generación aumentada por recuperación de un pensamiento orientado a la compacidad. Finalmente, con los pensamientos multicapa de las etapas anteriores, se invoca a un LLM para la generación aumentada por conocimiento. Experimentos exhaustivos en tareas intensivas en conocimiento han demostrado la superioridad de MetRag.

English

In recent years, large language models (LLMs) have made remarkable achievements in various domains. However, the untimeliness and cost of knowledge updates coupled with hallucination issues of LLMs have curtailed their applications in knowledge intensive tasks, where retrieval augmented generation (RAG) can be of help. Nevertheless, existing retrieval augmented models typically use similarity as a bridge between queries and documents and follow a retrieve then read procedure. In this work, we argue that similarity is not always the panacea and totally relying on similarity would sometimes degrade the performance of retrieval augmented generation. To this end, we propose MetRag, a Multi layEred Thoughts enhanced Retrieval Augmented Generation framework. To begin with, beyond existing similarity oriented thought, we embrace a small scale utility model that draws supervision from an LLM for utility oriented thought and further come up with a smarter model by comprehensively combining the similarity and utility oriented thoughts. Furthermore, given the fact that the retrieved document set tends to be huge and using them in isolation makes it difficult to capture the commonalities and characteristics among them, we propose to make an LLM as a task adaptive summarizer to endow retrieval augmented generation with compactness-oriented thought. Finally, with multi layered thoughts from the precedent stages, an LLM is called for knowledge augmented generation. Extensive experiments on knowledge-intensive tasks have demonstrated the superiority of MetRag.