Recuperazione Gerarchica Guidata da LLM

Abstract

I moderni sistemi di Information Retrieval (IR) sono sempre più chiamati a rispondere a query complesse e multifaccettate che richiedono un ragionamento approfondito, piuttosto che un semplice matching di parole chiave o semantico. Sebbene l'IR basato su Large Language Models (LLM) abbia mostrato grandi potenzialità, il paradigma prevalente di "recupera e poi riordina" eredita i limiti del recupero basato su embedding; gli approcci generativi parametrici sono difficili da aggiornare con nuove informazioni; e i metodi a contesto lungo, che inseriscono l'intero corpus nel contesto, sono computazionalmente impraticabili per grandi collezioni di documenti. Per affrontare queste sfide, introduciamo LATTICE, un framework di recupero gerarchico che consente a un LLM di ragionare e navigare grandi corpora con una complessità di ricerca logaritmica, imponendo una struttura ad albero semantica sul corpus. Il nostro approccio si compone di due fasi: (1) una fase offline che organizza il corpus in una gerarchia semantica attraverso una strategia agglomerativa bottom-up o una strategia divisiva top-down utilizzando riassunti multilivello, e (2) una fase di attraversamento online in cui un LLM di ricerca naviga questo albero. Una sfida centrale in tale ricerca guidata da LLM è che i giudizi di rilevanza del modello sono rumorosi, dipendenti dal contesto e inconsapevoli della gerarchia, rendendo difficili i confronti tra rami e livelli. Per superare ciò, proponiamo un algoritmo di attraversamento che stima punteggi di rilevanza latente calibrati dagli output locali del LLM e li aggrega in una metrica globale di rilevanza del percorso. Il nostro framework, che non richiede addestramento, raggiunge prestazioni state-of-the-art zero-shot sul benchmark BRIGHT, intensivo di ragionamento, dimostrando un miglioramento fino al 9% in Recall@100 e al 5% in nDCG@10 rispetto al miglior baseline zero-shot. Inoltre, rispetto al metodo SOTA fine-tuned DIVER-v2, LATTICE ottiene risultati comparabili sui sottoinsiemi di BRIGHT che utilizzano un corpus statico per la valutazione.

English

Modern IR systems are increasingly tasked with answering complex, multi-faceted queries that require deep reasoning rather than simple keyword or semantic matching. While LLM-based IR has shown great promise, the prevailing retrieve-then-rerank paradigm inherits the limitations of embedding-based retrieval; parametric generative approaches are difficult to update with new information; and long-context methods that place the entire corpus in context are computationally infeasible for large document collections. To address these challenges, we introduce LATTICE, a hierarchical retrieval framework that enables an LLM to reason over and navigate large corpora with logarithmic search complexity by imposing a semantic tree structure on the corpus. Our approach consists of two stages: (1) an offline phase that organizes the corpus into a semantic hierarchy via either a bottom-up agglomerative strategy or a top-down divisive strategy using multi-level summaries and (2) an online traversal phase where a search LLM navigates this tree. A central challenge in such LLM-guided search is that the model's relevance judgments are noisy, context-dependent, and unaware of the hierarchy, making cross-branch and cross-level comparisons difficult. To overcome this, we propose a traversal algorithm that estimates calibrated latent relevance scores from local LLM outputs and aggregates them into a global path relevance metric. Our training-free framework achieves state-of-the-art zero-shot performance on the reasoning-intensive BRIGHT benchmark, demonstrating up to 9% improvement in Recall@100 and 5% in nDCG@10 over the next best zero-shot baseline. Furthermore, compared to the fine-tuned SOTA method DIVER-v2, LATTICE attains comparable results on BRIGHT subsets that use a static corpus for evaluation.

Recuperazione Gerarchica Guidata da LLM

LLM-guided Hierarchical Retrieval

Abstract

Support