SeaKR：適応的検索拡張生成のための自己認識型知識検索

SeaKR: Self-aware Knowledge Retrieval for Adaptive Retrieval Augmented Generation

June 27, 2024

著者: Zijun Yao, Weijian Qi, Liangming Pan, Shulin Cao, Linmei Hu, Weichuan Liu, Lei Hou, Juanzi Li

cs.AI

要旨

本論文では、Self-aware Knowledge Retrieval (SeaKR) を紹介する。これは、大規模言語モデル（LLM）の内部状態から自己認識された不確実性を抽出する新しい適応型RAGモデルである。SeaKRは、LLMが生成において高い自己認識不確実性を示す場合に検索を活性化する。検索された知識スニペットを効果的に統合するため、SeaKRはLLMの自己認識不確実性に基づいてそれらを再ランク付けし、不確実性を最大限に低減するスニペットを保持する。複数の検索を必要とする複雑なタスクの解決を容易にするため、SeaKRは自己認識不確実性を利用して異なる推論戦略の中から選択する。複雑な質問応答データセットと単純な質問応答データセットの両方での実験により、SeaKRが既存の適応型RAG手法を上回ることを示す。コードはhttps://github.com/THU-KEG/SeaKRで公開している。

English

This paper introduces Self-aware Knowledge Retrieval (SeaKR), a novel adaptive RAG model that extracts self-aware uncertainty of LLMs from their internal states. SeaKR activates retrieval when the LLMs present high self-aware uncertainty for generation. To effectively integrate retrieved knowledge snippets, SeaKR re-ranks them based on LLM's self-aware uncertainty to preserve the snippet that reduces their uncertainty to the utmost. To facilitate solving complex tasks that require multiple retrievals, SeaKR utilizes their self-aware uncertainty to choose among different reasoning strategies. Our experiments on both complex and simple Question Answering datasets show that SeaKR outperforms existing adaptive RAG methods. We release our code at https://github.com/THU-KEG/SeaKR.