Иерархический поиск с управлением LLM

Аннотация

Современные системы информационного поиска всё чаще сталкиваются с необходимостью обработки сложных, многогранных запросов, требующих глубокого анализа, а не простого сопоставления ключевых слов или семантического поиска. Хотя подходы к поиску на основе языковых моделей (LLM) демонстрируют значительный потенциал, преобладающая парадигма "извлечение с последующим ранжированием" наследует ограничения методов поиска на основе векторных представлений; параметрические генеративные подходы сложно обновлять новой информацией; а методы с длинным контекстом, которые помещают весь корпус в контекст, вычислительно неэффективны для больших коллекций документов. Для решения этих проблем мы представляем LATTICE — иерархическую структуру поиска, которая позволяет языковой модели анализировать и навигировать по большим корпусам с логарифмической сложностью поиска, накладывая на корпус семантическую древовидную структуру. Наш подход состоит из двух этапов: (1) оффлайн-фаза, которая организует корпус в семантическую иерархию с использованием либо снизу вверх агломеративной стратегии, либо сверху вниз дивизивной стратегии с использованием многоуровневых сводок, и (2) онлайн-фаза обхода, в которой поисковая языковая модель навигирует по этому дереву. Основная сложность в таком поиске под руководством LLM заключается в том, что суждения модели о релевантности зашумлены, зависят от контекста и не учитывают иерархию, что затрудняет сравнение между ветвями и уровнями. Для преодоления этого мы предлагаем алгоритм обхода, который оценивает калиброванные скрытые показатели релевантности на основе локальных выходов LLM и агрегирует их в глобальную метрику релевантности пути. Наш подход, не требующий обучения, достигает наилучших результатов в условиях zero-shot на бенчмарке BRIGHT, требующем глубокого анализа, демонстрируя улучшение до 9% по метрике Recall@100 и 5% по nDCG@10 по сравнению с лучшим zero-shot базовым методом. Кроме того, по сравнению с тонко настроенным методом SOTA DIVER-v2, LATTICE показывает сопоставимые результаты на подмножествах BRIGHT, использующих статический корпус для оценки.

English

Modern IR systems are increasingly tasked with answering complex, multi-faceted queries that require deep reasoning rather than simple keyword or semantic matching. While LLM-based IR has shown great promise, the prevailing retrieve-then-rerank paradigm inherits the limitations of embedding-based retrieval; parametric generative approaches are difficult to update with new information; and long-context methods that place the entire corpus in context are computationally infeasible for large document collections. To address these challenges, we introduce LATTICE, a hierarchical retrieval framework that enables an LLM to reason over and navigate large corpora with logarithmic search complexity by imposing a semantic tree structure on the corpus. Our approach consists of two stages: (1) an offline phase that organizes the corpus into a semantic hierarchy via either a bottom-up agglomerative strategy or a top-down divisive strategy using multi-level summaries and (2) an online traversal phase where a search LLM navigates this tree. A central challenge in such LLM-guided search is that the model's relevance judgments are noisy, context-dependent, and unaware of the hierarchy, making cross-branch and cross-level comparisons difficult. To overcome this, we propose a traversal algorithm that estimates calibrated latent relevance scores from local LLM outputs and aggregates them into a global path relevance metric. Our training-free framework achieves state-of-the-art zero-shot performance on the reasoning-intensive BRIGHT benchmark, demonstrating up to 9% improvement in Recall@100 and 5% in nDCG@10 over the next best zero-shot baseline. Furthermore, compared to the fine-tuned SOTA method DIVER-v2, LATTICE attains comparable results on BRIGHT subsets that use a static corpus for evaluation.

Иерархический поиск с управлением LLM

LLM-guided Hierarchical Retrieval

Аннотация

Support