RetroLLM: Ermächtigung großer Sprachmodelle zur Abrufung feinkörniger Beweise innerhalb der Generierung

RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation

December 16, 2024

Autoren: Xiaoxi Li, Jiajie Jin, Yujia Zhou, Yongkang Wu, Zhonghua Li, Qi Ye, Zhicheng Dou

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) zeigen bemerkenswerte generative Fähigkeiten, leiden jedoch oft unter Halluzinationen. Die abrufgestützte Generierung (RAG) bietet eine effektive Lösung, indem externe Kenntnisse integriert werden, aber bestehende Methoden stehen noch vor mehreren Einschränkungen: zusätzliche Bereitstellungskosten für separate Abrufer, redundante Eingabetoken aus abgerufenen Textabschnitten und das Fehlen einer gemeinsamen Optimierung von Abruf und Generierung. Um diese Probleme zu lösen, schlagen wir RetroLLM vor, ein vereinheitlichtes Framework, das Abruf und Generierung in einen einzigen, zusammenhängenden Prozess integriert, wodurch LLMs in der Lage sind, direkt fein abgestufte Beweise aus dem Korpus mit eingeschränktem Decodieren zu generieren. Darüber hinaus, um falsches Beschneiden im Prozess der eingeschränkten Beweisgenerierung zu mildern, führen wir ein (1) hierarchisches FM-Index-Konzept ein, das korpusbeschränkte Hinweise generiert, um eine Teilmenge relevanter Dokumente vor der Beweisgenerierung zu identifizieren, wodurch der irrelevante Decodieraum reduziert wird; und (2) eine vorwärtsgerichtete eingeschränkte Decodierstrategie, die die Relevanz zukünftiger Sequenzen berücksichtigt, um die Beweisgenauigkeit zu verbessern. Umfangreiche Experimente an fünf Open-Domain-QA-Datensätzen zeigen die überlegene Leistung von RetroLLM sowohl bei in-domain als auch bei out-of-domain Aufgaben. Der Code ist verfügbar unter https://github.com/sunnynexus/RetroLLM.

English

Large language models (LLMs) exhibit remarkable generative capabilities but often suffer from hallucinations. Retrieval-augmented generation (RAG) offers an effective solution by incorporating external knowledge, but existing methods still face several limitations: additional deployment costs of separate retrievers, redundant input tokens from retrieved text chunks, and the lack of joint optimization of retrieval and generation. To address these issues, we propose RetroLLM, a unified framework that integrates retrieval and generation into a single, cohesive process, enabling LLMs to directly generate fine-grained evidence from the corpus with constrained decoding. Moreover, to mitigate false pruning in the process of constrained evidence generation, we introduce (1) hierarchical FM-Index constraints, which generate corpus-constrained clues to identify a subset of relevant documents before evidence generation, reducing irrelevant decoding space; and (2) a forward-looking constrained decoding strategy, which considers the relevance of future sequences to improve evidence accuracy. Extensive experiments on five open-domain QA datasets demonstrate RetroLLM's superior performance across both in-domain and out-of-domain tasks. The code is available at https://github.com/sunnynexus/RetroLLM.