RetroLLM: Доведение до совершенства больших языковых моделей для извлечения детализированных доказательств в процессе генерации

RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation

December 16, 2024

Авторы: Xiaoxi Li, Jiajie Jin, Yujia Zhou, Yongkang Wu, Zhonghua Li, Qi Ye, Zhicheng Dou

cs.AI

Аннотация

Большие языковые модели (LLM) обладают замечательными генеративными способностями, но часто страдают от галлюцинаций. Генерация с использованием поиска (RAG) предлагает эффективное решение, интегрируя внешние знания, однако существующие методы все еще сталкиваются с несколькими ограничениями: дополнительные затраты на развертывание отдельных поисковиков, избыточные входные токены из извлеченных текстовых фрагментов и отсутствие совместной оптимизации поиска и генерации. Для решения этих проблем мы предлагаем RetroLLM, унифицированную структуру, интегрирующую поиск и генерацию в единый, цельный процесс, позволяя LLM напрямую генерировать детализированные доказательства из корпуса с ограниченным декодированием. Более того, для смягчения ложного обрезания в процессе ограниченной генерации доказательств, мы вводим (1) иерархические ограничения FM-индекса, которые генерируют ограниченные корпусом подсказки для идентификации подмножества соответствующих документов перед генерацией доказательств, уменьшая нерелевантное пространство декодирования; и (2) стратегию ограниченного декодирования с просмотром вперед, которая учитывает релевантность будущих последовательностей для улучшения точности доказательств. Обширные эксперименты на пяти наборах данных вопрос-ответ открытой области демонстрируют превосходное качество работы RetroLLM как на задачах внутри области, так и вне ее. Код доступен по ссылке https://github.com/sunnynexus/RetroLLM.

English

Large language models (LLMs) exhibit remarkable generative capabilities but often suffer from hallucinations. Retrieval-augmented generation (RAG) offers an effective solution by incorporating external knowledge, but existing methods still face several limitations: additional deployment costs of separate retrievers, redundant input tokens from retrieved text chunks, and the lack of joint optimization of retrieval and generation. To address these issues, we propose RetroLLM, a unified framework that integrates retrieval and generation into a single, cohesive process, enabling LLMs to directly generate fine-grained evidence from the corpus with constrained decoding. Moreover, to mitigate false pruning in the process of constrained evidence generation, we introduce (1) hierarchical FM-Index constraints, which generate corpus-constrained clues to identify a subset of relevant documents before evidence generation, reducing irrelevant decoding space; and (2) a forward-looking constrained decoding strategy, which considers the relevance of future sequences to improve evidence accuracy. Extensive experiments on five open-domain QA datasets demonstrate RetroLLM's superior performance across both in-domain and out-of-domain tasks. The code is available at https://github.com/sunnynexus/RetroLLM.