RetroLLM: 大規模言語モデルに細かい証拠を取得する力を与える

RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation

December 16, 2024

著者: Xiaoxi Li, Jiajie Jin, Yujia Zhou, Yongkang Wu, Zhonghua Li, Qi Ye, Zhicheng Dou

cs.AI

要旨

大規模言語モデル（LLM）は顕著な生成能力を示すが、しばしば幻覚に苦しむことがあります。検索拡張生成（RAG）は外部知識を組み込むことで効果的な解決策を提供しますが、既存の手法はいくつかの制限に直面しています：別々のリトリーバーの追加展開コスト、取得されたテキストチャンクからの冗長な入力トークン、および検索と生成の共同最適化の欠如。これらの問題に対処するために、私たちはRetroLLMを提案します。これはリトリーバルと生成を単一の統合プロセスに組み込む統一されたフレームワークであり、LLMが制約付きデコーディングでコーパスから直接細かい証拠を生成できるようにします。さらに、制約つき証拠生成の過程での誤った剪定を緩和するために、(1) 階層的FM-Index制約を導入します。これは証拠生成の前に関連文書のサブセットを特定するためのコーパス制約クルーを生成し、関連のないデコーディングスペースを減らします。そして(2) 将来のシーケンスの関連性を考慮する前向き制約つきデコーディング戦略を導入します。これにより証拠の精度が向上します。5つのオープンドメインQAデータセットでの広範な実験により、RetroLLMの優れた性能が示されました。コードはhttps://github.com/sunnynexus/RetroLLMで入手可能です。

English

Large language models (LLMs) exhibit remarkable generative capabilities but often suffer from hallucinations. Retrieval-augmented generation (RAG) offers an effective solution by incorporating external knowledge, but existing methods still face several limitations: additional deployment costs of separate retrievers, redundant input tokens from retrieved text chunks, and the lack of joint optimization of retrieval and generation. To address these issues, we propose RetroLLM, a unified framework that integrates retrieval and generation into a single, cohesive process, enabling LLMs to directly generate fine-grained evidence from the corpus with constrained decoding. Moreover, to mitigate false pruning in the process of constrained evidence generation, we introduce (1) hierarchical FM-Index constraints, which generate corpus-constrained clues to identify a subset of relevant documents before evidence generation, reducing irrelevant decoding space; and (2) a forward-looking constrained decoding strategy, which considers the relevance of future sequences to improve evidence accuracy. Extensive experiments on five open-domain QA datasets demonstrate RetroLLM's superior performance across both in-domain and out-of-domain tasks. The code is available at https://github.com/sunnynexus/RetroLLM.