FABLE: マルチドキュメント推論のための森林ベース適応型双経路LLM拡張検索

要旨

長文脈対応の大規模言語モデル(LLM)の急速な発展により、検索拡張生成(RAG)の必要性に関する議論が再燃している。しかし実証研究によれば、長文脈推論には依然として「lost-in-the-middle」現象、高い計算コスト、複数文書推論におけるスケーラビリティの低さといった限界が存在する。一方、従来のRAGシステムは効率的であるものの、セマンティックノイズを導入し構造化された複数文書統合を支援できないフラットなチャンク単位検索に制約されている。本論文ではFABLEを提案する。これはLLMを知識編成と検索の両方に統合した、フォレストベースの適応的双経路LLM拡張検索フレームワークである。FABLEはマルチグラニュラリティの意味構造を持つLLM拡張型階層的フォレスト索引を構築し、LLM誘導型階層トラバーサルと構造認識伝播を組み合わせた双経路戦略により細粒度な証拠取得を実現する。さらに明示的なバジェット制御により適応的な効率性のトレードオフを可能にする。大規模な実験により、FABLEが常にSOTAのRAG手法を凌駕し、最大94%のトークン削減を達成しながら全文脈LLM推論と同等の精度を達成することが実証された。これは長文脈LLMが構造化検索の必要性を軽減するどころかむしろ増幅することを示している。

English

The rapid expansion of long-context Large Language Models (LLMs) has reignited debate on whether Retrieval-Augmented Generation (RAG) remains necessary. However, empirical evidence reveals persistent limitations of long-context inference, including the lost-in-the-middle phenomenon, high computational cost, and poor scalability for multi-document reasoning. Conversely, traditional RAG systems, while efficient, are constrained by flat chunk-level retrieval that introduces semantic noise and fails to support structured cross-document synthesis. We present FABLE, a Forest-based Adaptive Bi-path LLM-Enhanced retrieval framework that integrates LLMs into both knowledge organization and retrieval. FABLE constructs LLM-enhanced hierarchical forest indexes with multi-granularity semantic structures, then employs a bi-path strategy combining LLM-guided hierarchical traversal with structure-aware propagation for fine-grained evidence acquisition, with explicit budget control for adaptive efficiency trade-offs. Extensive experiments demonstrate that FABLE consistently outperforms SOTA RAG methods and achieves comparable accuracy to full-context LLM inference with up to 94\% token reduction, showing that long-context LLMs amplify rather than fully replace the need for structured retrieval.

FABLE: マルチドキュメント推論のための森林ベース適応型双経路LLM拡張検索

FABLE: Forest-Based Adaptive Bi-Path LLM-Enhanced Retrieval for Multi-Document Reasoning

要旨

Support