SeaKR: Самосознательное извлечение знаний для адаптивного извлечения с увеличением генерации

SeaKR: Self-aware Knowledge Retrieval for Adaptive Retrieval Augmented Generation

June 27, 2024

Авторы: Zijun Yao, Weijian Qi, Liangming Pan, Shulin Cao, Linmei Hu, Weichuan Liu, Lei Hou, Juanzi Li

cs.AI

Аннотация

Эта статья представляет Self-aware Knowledge Retrieval (SeaKR), новую адаптивную модель RAG, извлекающую самосознание неопределенности LLMs из их внутренних состояний. SeaKR активирует поиск, когда LLMs проявляют высокую самосознание неопределенности для генерации. Для эффективного интегрирования извлеченных фрагментов знаний SeaKR переупорядочивает их на основе самосознания неопределенности LLM, чтобы сохранить фрагмент, который снижает их неопределенность до максимума. Для облегчения решения сложных задач, требующих нескольких извлечений, SeaKR использует свое самосознание неопределенности для выбора различных стратегий рассуждения. Наши эксперименты как на сложных, так и на простых наборах данных для вопросов и ответов показывают, что SeaKR превосходит существующие адаптивные методы RAG. Мы выпустили наш код на https://github.com/THU-KEG/SeaKR.

English

This paper introduces Self-aware Knowledge Retrieval (SeaKR), a novel adaptive RAG model that extracts self-aware uncertainty of LLMs from their internal states. SeaKR activates retrieval when the LLMs present high self-aware uncertainty for generation. To effectively integrate retrieved knowledge snippets, SeaKR re-ranks them based on LLM's self-aware uncertainty to preserve the snippet that reduces their uncertainty to the utmost. To facilitate solving complex tasks that require multiple retrievals, SeaKR utilizes their self-aware uncertainty to choose among different reasoning strategies. Our experiments on both complex and simple Question Answering datasets show that SeaKR outperforms existing adaptive RAG methods. We release our code at https://github.com/THU-KEG/SeaKR.