FABLE: Waldbasierte adaptive bipathische LLM-verstärkte Abfrage für die Multi-Dokumenten-Argumentation

FABLE: Forest-Based Adaptive Bi-Path LLM-Enhanced Retrieval for Multi-Document Reasoning

January 26, 2026

papers.authors: Lin Sun, Linglin Zhang, Jingang Huang, Change Jia, Zhengwei Cheng, Xiangzheng Zhang

cs.AI

papers.abstract

Die rasche Verbreitung von Large Language Models (LLMs) mit langem Kontext hat die Debatte darüber neu entfacht, ob Retrieval-Augmented Generation (RAG) weiterhin notwendig ist. Empirische Erkenntnisse zeigen jedoch anhaltende Grenzen der Inferenz mit langem Kontext auf, darunter das "Lost-in-the-Middle"-Phänomen, hohe Rechenkosten und geringe Skalierbarkeit für die Multi-Dokumenten-Analyse. Herkömmliche RAG-Systeme sind hingegen, obwohl effizient, durch flache Chunk-basierte Retrieval-Verfahren eingeschränkt, die semantisches Rauschen einführen und strukturierte, dokumenübergreifende Synthese nicht unterstützen können. Wir stellen FABLE vor, ein forest-basiertes, adaptives Bi-Path-LLM-gestütztes Retrieval-Framework, das LLMs sowohl in die Wissensorganisation als auch in den Abruf integriert. FABLE konstruiert LLM-gestützte hierarchische Forest-Indexe mit multi-granularen semantischen Strukturen und verwendet dann eine Bi-Path-Strategie, die LLM-gesteuerten hierarchischen Traversal mit strukturierungsbewusster Propagation zur feingranularen Evidenzgewinnung kombiniert, wobei eine explizite Budgetkontrolle adaptive Effizienzabwägungen ermöglicht. Umfangreiche Experimente belegen, dass FABLE durchgängig state-of-the-art RAG-Methoden übertrifft und eine vergleichbare Genauigkeit wie die Vollkontext-LLM-Inferenz erreicht – bei einer Reduktion der Tokens um bis zu 94 %. Dies zeigt, dass LLMs mit langem Kontext den Bedarf an strukturiertem Retrieval verstärken, aber nicht vollständig ersetzen.

English

The rapid expansion of long-context Large Language Models (LLMs) has reignited debate on whether Retrieval-Augmented Generation (RAG) remains necessary. However, empirical evidence reveals persistent limitations of long-context inference, including the lost-in-the-middle phenomenon, high computational cost, and poor scalability for multi-document reasoning. Conversely, traditional RAG systems, while efficient, are constrained by flat chunk-level retrieval that introduces semantic noise and fails to support structured cross-document synthesis. We present FABLE, a Forest-based Adaptive Bi-path LLM-Enhanced retrieval framework that integrates LLMs into both knowledge organization and retrieval. FABLE constructs LLM-enhanced hierarchical forest indexes with multi-granularity semantic structures, then employs a bi-path strategy combining LLM-guided hierarchical traversal with structure-aware propagation for fine-grained evidence acquisition, with explicit budget control for adaptive efficiency trade-offs. Extensive experiments demonstrate that FABLE consistently outperforms SOTA RAG methods and achieves comparable accuracy to full-context LLM inference with up to 94\% token reduction, showing that long-context LLMs amplify rather than fully replace the need for structured retrieval.