Recuperação Hierárquica Guiada por LLM

Resumo

Os sistemas modernos de recuperação de informação (IR) estão cada vez mais encarregados de responder a consultas complexas e multifacetadas que exigem raciocínio profundo, em vez de simples correspondência de palavras-chave ou semântica. Embora o IR baseado em LLMs (Large Language Models) tenha mostrado grande potencial, o paradigma predominante de recuperar e depois reclassificar herda as limitações da recuperação baseada em embeddings; as abordagens generativas paramétricas são difíceis de atualizar com novas informações; e os métodos de contexto longo, que colocam todo o corpus em contexto, são computacionalmente inviáveis para grandes coleções de documentos. Para enfrentar esses desafios, apresentamos o LATTICE, uma estrutura hierárquica de recuperação que permite que um LLM raciocine e navegue por grandes corpora com complexidade de busca logarítmica, impondo uma estrutura de árvore semântica no corpus. Nossa abordagem consiste em duas etapas: (1) uma fase offline que organiza o corpus em uma hierarquia semântica por meio de uma estratégia aglomerativa ascendente ou divisiva descendente, utilizando resumos multiníveis, e (2) uma fase de travessia online em que um LLM de busca navega por essa árvore. Um desafio central nessa busca guiada por LLM é que os julgamentos de relevância do modelo são ruidosos, dependentes do contexto e inconscientes da hierarquia, dificultando comparações entre ramos e níveis. Para superar isso, propomos um algoritmo de travessia que estima pontuações de relevância latente calibradas a partir das saídas locais do LLM e as agrega em uma métrica global de relevância do caminho. Nossa estrutura livre de treinamento alcança desempenho state-of-the-art zero-shot no benchmark BRIGHT, intensivo em raciocínio, demonstrando uma melhoria de até 9% no Recall@100 e 5% no nDCG@10 em relação à melhor linha de base zero-shot. Além disso, em comparação com o método SOTA ajustado DIVER-v2, o LATTICE obtém resultados comparáveis em subconjuntos do BRIGHT que usam um corpus estático para avaliação.

English

Modern IR systems are increasingly tasked with answering complex, multi-faceted queries that require deep reasoning rather than simple keyword or semantic matching. While LLM-based IR has shown great promise, the prevailing retrieve-then-rerank paradigm inherits the limitations of embedding-based retrieval; parametric generative approaches are difficult to update with new information; and long-context methods that place the entire corpus in context are computationally infeasible for large document collections. To address these challenges, we introduce LATTICE, a hierarchical retrieval framework that enables an LLM to reason over and navigate large corpora with logarithmic search complexity by imposing a semantic tree structure on the corpus. Our approach consists of two stages: (1) an offline phase that organizes the corpus into a semantic hierarchy via either a bottom-up agglomerative strategy or a top-down divisive strategy using multi-level summaries and (2) an online traversal phase where a search LLM navigates this tree. A central challenge in such LLM-guided search is that the model's relevance judgments are noisy, context-dependent, and unaware of the hierarchy, making cross-branch and cross-level comparisons difficult. To overcome this, we propose a traversal algorithm that estimates calibrated latent relevance scores from local LLM outputs and aggregates them into a global path relevance metric. Our training-free framework achieves state-of-the-art zero-shot performance on the reasoning-intensive BRIGHT benchmark, demonstrating up to 9% improvement in Recall@100 and 5% in nDCG@10 over the next best zero-shot baseline. Furthermore, compared to the fine-tuned SOTA method DIVER-v2, LATTICE attains comparable results on BRIGHT subsets that use a static corpus for evaluation.

Recuperação Hierárquica Guiada por LLM

LLM-guided Hierarchical Retrieval

Resumo

Support