SeaKR : Récupération de connaissances auto-consciente pour une génération augmentée par récupération adaptative

SeaKR: Self-aware Knowledge Retrieval for Adaptive Retrieval Augmented Generation

June 27, 2024

Auteurs: Zijun Yao, Weijian Qi, Liangming Pan, Shulin Cao, Linmei Hu, Weichuan Liu, Lei Hou, Juanzi Li

cs.AI

Résumé

Cet article présente Self-aware Knowledge Retrieval (SeaKR), un nouveau modèle RAG adaptatif qui extrait l'incertitude auto-consciente des LLMs à partir de leurs états internes. SeaKR active la récupération d'informations lorsque les LLMs présentent une forte incertitude auto-consciente lors de la génération. Pour intégrer efficacement les extraits de connaissances récupérés, SeaKR les re-classe en fonction de l'incertitude auto-consciente des LLMs afin de conserver l'extrait qui réduit au maximum leur incertitude. Pour faciliter la résolution de tâches complexes nécessitant plusieurs récupérations, SeaKR utilise leur incertitude auto-consciente pour choisir parmi différentes stratégies de raisonnement. Nos expériences sur des ensembles de données de Question-Réponse, à la fois complexes et simples, montrent que SeaKR surpasse les méthodes RAG adaptatives existantes. Nous mettons notre code à disposition à l'adresse suivante : https://github.com/THU-KEG/SeaKR.

English

This paper introduces Self-aware Knowledge Retrieval (SeaKR), a novel adaptive RAG model that extracts self-aware uncertainty of LLMs from their internal states. SeaKR activates retrieval when the LLMs present high self-aware uncertainty for generation. To effectively integrate retrieved knowledge snippets, SeaKR re-ranks them based on LLM's self-aware uncertainty to preserve the snippet that reduces their uncertainty to the utmost. To facilitate solving complex tasks that require multiple retrievals, SeaKR utilizes their self-aware uncertainty to choose among different reasoning strategies. Our experiments on both complex and simple Question Answering datasets show that SeaKR outperforms existing adaptive RAG methods. We release our code at https://github.com/THU-KEG/SeaKR.