RetroLLM: Het versterken van grote taalmodellen om fijnmazig bewijs op te halen binnen generatie.

RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation

December 16, 2024

Auteurs: Xiaoxi Li, Jiajie Jin, Yujia Zhou, Yongkang Wu, Zhonghua Li, Qi Ye, Zhicheng Dou

cs.AI

Samenvatting

Grote taalmodellen (LLM's) vertonen opmerkelijke generatieve mogelijkheden, maar hebben vaak last van hallucinaties. Ophalingsversterkte generatie (RAG) biedt een effectieve oplossing door externe kennis te incorporeren, maar bestaande methoden kampen nog steeds met verschillende beperkingen: extra implementatiekosten van afzonderlijke ophalers, overbodige invoertokens van opgehaalde tekstfragmenten en het ontbreken van gezamenlijke optimalisatie van ophaling en generatie. Om deze problemen aan te pakken, stellen we RetroLLM voor, een verenigd kader dat ophaling en generatie integreert in een enkel, samenhangend proces, waardoor LLM's rechtstreeks fijnmazig bewijsmateriaal uit de corpus kunnen genereren met beperkte decodering. Bovendien introduceren we om valse snoei in het proces van beperkte bewijsvoering te verminderen (1) hiërarchische FM-Index beperkingen, die corpusbeperkte aanwijzingen genereren om een subset van relevante documenten te identificeren vóór bewijsgeneratie, waardoor irrelevante decoderingsruimte wordt verminderd; en (2) een vooruitkijkende beperkte decoderingsstrategie, die de relevantie van toekomstige sequenties overweegt om de nauwkeurigheid van het bewijs te verbeteren. Uitgebreide experimenten op vijf open domein QA-datasets tonen de superieure prestaties van RetroLLM aan bij zowel in-domein als uit-domein taken. De code is beschikbaar op https://github.com/sunnynexus/RetroLLM.

English

Large language models (LLMs) exhibit remarkable generative capabilities but often suffer from hallucinations. Retrieval-augmented generation (RAG) offers an effective solution by incorporating external knowledge, but existing methods still face several limitations: additional deployment costs of separate retrievers, redundant input tokens from retrieved text chunks, and the lack of joint optimization of retrieval and generation. To address these issues, we propose RetroLLM, a unified framework that integrates retrieval and generation into a single, cohesive process, enabling LLMs to directly generate fine-grained evidence from the corpus with constrained decoding. Moreover, to mitigate false pruning in the process of constrained evidence generation, we introduce (1) hierarchical FM-Index constraints, which generate corpus-constrained clues to identify a subset of relevant documents before evidence generation, reducing irrelevant decoding space; and (2) a forward-looking constrained decoding strategy, which considers the relevance of future sequences to improve evidence accuracy. Extensive experiments on five open-domain QA datasets demonstrate RetroLLM's superior performance across both in-domain and out-of-domain tasks. The code is available at https://github.com/sunnynexus/RetroLLM.