SeaKR: 적응형 검색 증강 생성을 위한 자가인식 지식 검색

SeaKR: Self-aware Knowledge Retrieval for Adaptive Retrieval Augmented Generation

June 27, 2024

저자: Zijun Yao, Weijian Qi, Liangming Pan, Shulin Cao, Linmei Hu, Weichuan Liu, Lei Hou, Juanzi Li

cs.AI

초록

본 논문은 LLM(Large Language Model)의 내부 상태로부터 자체 인식 불확실성(self-aware uncertainty)을 추출하는 새로운 적응형 RAG(Retrieval-Augmented Generation) 모델인 Self-aware Knowledge Retrieval(SeaKR)을 소개합니다. SeaKR은 LLM이 생성 과정에서 높은 자체 인식 불확실성을 보일 때 검색을 활성화합니다. 검색된 지식 스니펫을 효과적으로 통합하기 위해, SeaKR은 LLM의 자체 인식 불확실성을 기반으로 스니펫을 재순위화하여, 그 불확실성을 최대한 줄이는 스니펫을 보존합니다. 또한, 다중 검색이 필요한 복잡한 과제 해결을 용이하게 하기 위해, SeaKR은 자체 인식 불확실성을 활용하여 다양한 추론 전략 중에서 선택합니다. 복잡한 질의응답 데이터셋과 단순한 질의응답 데이터셋에 대한 실험 결과, SeaKR은 기존의 적응형 RAG 방법들을 능가하는 성능을 보였습니다. 우리는 코드를 https://github.com/THU-KEG/SeaKR에서 공개합니다.

English

This paper introduces Self-aware Knowledge Retrieval (SeaKR), a novel adaptive RAG model that extracts self-aware uncertainty of LLMs from their internal states. SeaKR activates retrieval when the LLMs present high self-aware uncertainty for generation. To effectively integrate retrieved knowledge snippets, SeaKR re-ranks them based on LLM's self-aware uncertainty to preserve the snippet that reduces their uncertainty to the utmost. To facilitate solving complex tasks that require multiple retrievals, SeaKR utilizes their self-aware uncertainty to choose among different reasoning strategies. Our experiments on both complex and simple Question Answering datasets show that SeaKR outperforms existing adaptive RAG methods. We release our code at https://github.com/THU-KEG/SeaKR.