SeaKR: Zelfbewuste Kennisretrieval voor Adaptieve Retrieval Augmented Generation

SeaKR: Self-aware Knowledge Retrieval for Adaptive Retrieval Augmented Generation

June 27, 2024

Auteurs: Zijun Yao, Weijian Qi, Liangming Pan, Shulin Cao, Linmei Hu, Weichuan Liu, Lei Hou, Juanzi Li

cs.AI

Samenvatting

Dit artikel introduceert Self-aware Knowledge Retrieval (SeaKR), een nieuw adaptief RAG-model dat zelfbewuste onzekerheid van LLMs uit hun interne toestanden extraheert. SeaKR activeert retrieval wanneer de LLMs een hoge zelfbewuste onzekerheid vertonen voor generatie. Om de opgehaalde kennisfragmenten effectief te integreren, herrangschikt SeaKR deze op basis van de zelfbewuste onzekerheid van de LLM om het fragment te behouden dat hun onzekerheid maximaal reduceert. Om het oplossen van complexe taken die meerdere retrievals vereisen te vergemakkelijken, maakt SeaKR gebruik van hun zelfbewuste onzekerheid om te kiezen tussen verschillende redeneerstrategieën. Onze experimenten op zowel complexe als eenvoudige Question Answering-datasets tonen aan dat SeaKR bestaande adaptieve RAG-methoden overtreft. We hebben onze code vrijgegeven op https://github.com/THU-KEG/SeaKR.

English

This paper introduces Self-aware Knowledge Retrieval (SeaKR), a novel adaptive RAG model that extracts self-aware uncertainty of LLMs from their internal states. SeaKR activates retrieval when the LLMs present high self-aware uncertainty for generation. To effectively integrate retrieved knowledge snippets, SeaKR re-ranks them based on LLM's self-aware uncertainty to preserve the snippet that reduces their uncertainty to the utmost. To facilitate solving complex tasks that require multiple retrievals, SeaKR utilizes their self-aware uncertainty to choose among different reasoning strategies. Our experiments on both complex and simple Question Answering datasets show that SeaKR outperforms existing adaptive RAG methods. We release our code at https://github.com/THU-KEG/SeaKR.