La similarité ne suffit pas : Dotant la Génération Augmentée par Récupération de Pensées Multi-Couches

Similarity is Not All You Need: Endowing Retrieval Augmented Generation with Multi Layered Thoughts

May 30, 2024

Auteurs: Chunjing Gan, Dan Yang, Binbin Hu, Hanxiao Zhang, Siyuan Li, Ziqi Liu, Yue Shen, Lin Ju, Zhiqiang Zhang, Jinjie Gu, Lei Liang, Jun Zhou

cs.AI

Résumé

Ces dernières années, les grands modèles de langage (LLMs) ont réalisé des avancées remarquables dans divers domaines. Cependant, le manque de réactivité et le coût des mises à jour des connaissances, ainsi que les problèmes d'hallucination des LLMs, ont limité leurs applications dans les tâches nécessitant une expertise approfondie, où la génération augmentée par recherche (RAG) peut s'avérer utile. Néanmoins, les modèles existants augmentés par recherche utilisent généralement la similarité comme pont entre les requêtes et les documents, suivant une procédure de recherche puis lecture. Dans ce travail, nous soutenons que la similarité n'est pas toujours la panacée et qu'un recours exclusif à celle-ci peut parfois dégrader les performances de la génération augmentée par recherche. À cette fin, nous proposons MetRag, un cadre de génération augmentée par recherche amélioré par des pensées multicouches. Pour commencer, au-delà de la pensée orientée similarité existante, nous intégrons un modèle utilitaire à petite échelle qui s'inspire de la supervision d'un LLM pour une pensée orientée utilité, et nous développons un modèle plus intelligent en combinant de manière exhaustive les pensées orientées similarité et utilité. En outre, étant donné que l'ensemble des documents récupérés a tendance à être volumineux et que leur utilisation isolée rend difficile la capture des points communs et des caractéristiques qui les distinguent, nous proposons de faire d'un LLM un résumé adaptatif pour doter la génération augmentée par recherche d'une pensée orientée compacité. Enfin, avec les pensées multicouches issues des étapes précédentes, un LLM est sollicité pour la génération augmentée par connaissances. Des expériences approfondies sur des tâches nécessitant une expertise approfondie ont démontré la supériorité de MetRag.

English

In recent years, large language models (LLMs) have made remarkable achievements in various domains. However, the untimeliness and cost of knowledge updates coupled with hallucination issues of LLMs have curtailed their applications in knowledge intensive tasks, where retrieval augmented generation (RAG) can be of help. Nevertheless, existing retrieval augmented models typically use similarity as a bridge between queries and documents and follow a retrieve then read procedure. In this work, we argue that similarity is not always the panacea and totally relying on similarity would sometimes degrade the performance of retrieval augmented generation. To this end, we propose MetRag, a Multi layEred Thoughts enhanced Retrieval Augmented Generation framework. To begin with, beyond existing similarity oriented thought, we embrace a small scale utility model that draws supervision from an LLM for utility oriented thought and further come up with a smarter model by comprehensively combining the similarity and utility oriented thoughts. Furthermore, given the fact that the retrieved document set tends to be huge and using them in isolation makes it difficult to capture the commonalities and characteristics among them, we propose to make an LLM as a task adaptive summarizer to endow retrieval augmented generation with compactness-oriented thought. Finally, with multi layered thoughts from the precedent stages, an LLM is called for knowledge augmented generation. Extensive experiments on knowledge-intensive tasks have demonstrated the superiority of MetRag.