FABEL: Forest-gebaseerde Adaptieve Bi-Pad LLM-verbeterde Retrieval voor Multi-Document Redeneren

FABLE: Forest-Based Adaptive Bi-Path LLM-Enhanced Retrieval for Multi-Document Reasoning

January 26, 2026

Auteurs: Lin Sun, Linglin Zhang, Jingang Huang, Change Jia, Zhengwei Cheng, Xiangzheng Zhang

cs.AI

Samenvatting

De snelle opkomst van Large Language Models (LLM's) met een lange context heeft de discussie doen oplaaien of Retrieval-Augmented Generation (RAG) nog steeds noodzakelijk is. Empirisch bewijs toont echter aanhoudende beperkingen van inferentie met lange contexten, waaronder het 'lost-in-the-middle'-fenomeen, hoge computationele kosten en beperkte schaalbaarheid voor redeneren over meerdere documenten. Traditionele RAG-systemen daarentegen, hoewel efficiënt, worden beperkt door platte retrieval op chunkniveau, wat semantische ruis introduceert en gestructureerde synthese over documenten heen niet ondersteunt. Wij presenteren FABLE, een op een 'forest' gebaseerd adaptief bi-pad LLM-verbeterd retrievalraamwerk dat LLM's integreert in zowel kennisorganisatie als retrieval. FABLE construeert hiërarchische 'forest'-indexen, verrijkt door LLM's, met semantische structuren op meerdere granulariteiten. Vervolgens wordt een bi-padstrategie toegepast die LLM-gestuurd hiërarchisch doorlopen combineert met structuurbewuste propagatie voor het verkrijgen van fijnmazige evidence, met expliciete budgetcontrole voor adaptieve efficiëntie-afwegingen. Uitgebreide experimenten tonen aan dat FABLE consistent beter presteert dan state-of-the-art RAG-methoden en een vergelijkbare nauwkeurigheid bereikt als volledige-context LLM-inferentie, met een reductie van tot 94% in tokens. Dit laat zien dat LLM's met een lange context de behoefte aan gestructureerde retrieval versterken in plaats van volledig vervangen.

English

The rapid expansion of long-context Large Language Models (LLMs) has reignited debate on whether Retrieval-Augmented Generation (RAG) remains necessary. However, empirical evidence reveals persistent limitations of long-context inference, including the lost-in-the-middle phenomenon, high computational cost, and poor scalability for multi-document reasoning. Conversely, traditional RAG systems, while efficient, are constrained by flat chunk-level retrieval that introduces semantic noise and fails to support structured cross-document synthesis. We present FABLE, a Forest-based Adaptive Bi-path LLM-Enhanced retrieval framework that integrates LLMs into both knowledge organization and retrieval. FABLE constructs LLM-enhanced hierarchical forest indexes with multi-granularity semantic structures, then employs a bi-path strategy combining LLM-guided hierarchical traversal with structure-aware propagation for fine-grained evidence acquisition, with explicit budget control for adaptive efficiency trade-offs. Extensive experiments demonstrate that FABLE consistently outperforms SOTA RAG methods and achieves comparable accuracy to full-context LLM inference with up to 94\% token reduction, showing that long-context LLMs amplify rather than fully replace the need for structured retrieval.