Тестирование моделей информационного поиска на сложных задачах поиска

Benchmarking Information Retrieval Models on Complex Retrieval Tasks

September 8, 2025

Авторы: Julian Killingback, Hamed Zamani

cs.AI

Аннотация

Крупные языковые модели (LLM) представляют собой невероятно мощные и универсальные инструменты для текстовых задач, которые открыли бесчисленное множество ранее немыслимых приложений. В отличие от них, модели поиска пока не достигли такого уровня универсальности. Для достижения этой цели модели поиска должны быть способны выполнять сложные задачи поиска, где запросы содержат несколько частей, ограничений или требований, выраженных на естественном языке. Эти задачи представляют собой естественное развитие по сравнению с простыми, одноаспектными запросами, которые используются в подавляющем большинстве существующих и широко применяемых наборов для оценки. Сложные запросы возникают естественным образом, поскольку люди ожидают, что поисковые системы смогут обрабатывать более специфичные и зачастую амбициозные информационные запросы, что демонстрируется тем, как люди используют информационные системы на основе LLM. Несмотря на растущее желание расширить возможности моделей поиска в выполнении сложных задач, существует ограниченное количество ресурсов для оценки способностей моделей поиска на разнообразных сложных задачах. Те немногие ресурсы, которые существуют, имеют ограниченный охват и часто лишены реалистичных условий, что затрудняет понимание истинных возможностей моделей поиска в сложных задачах реального мира. Чтобы устранить этот недостаток и стимулировать инновации в моделях поиска следующего поколения, мы создаем разнообразный и реалистичный набор сложных задач поиска и тестируем на нем набор современных моделей поиска. Кроме того, мы исследуем влияние расширения и переформулирования запросов с использованием LLM на качество поиска. Наши результаты показывают, что даже лучшие модели с трудом справляются с получением высококачественных результатов поиска, достигая среднего значения nDCG@10 всего 0,346 и R@100 всего 0,587 по всем задачам. Хотя использование LLM может помочь более слабым моделям, самая сильная модель демонстрирует снижение производительности по всем метрикам при использовании всех методов переформулирования.

English

Large language models (LLMs) are incredible and versatile tools for text-based tasks that have enabled countless, previously unimaginable, applications. Retrieval models, in contrast, have not yet seen such capable general-purpose models emerge. To achieve this goal, retrieval models must be able to perform complex retrieval tasks, where queries contain multiple parts, constraints, or requirements in natural language. These tasks represent a natural progression from the simple, single-aspect queries that are used in the vast majority of existing, commonly used evaluation sets. Complex queries naturally arise as people expect search systems to handle more specific and often ambitious information requests, as is demonstrated by how people use LLM-based information systems. Despite the growing desire for retrieval models to expand their capabilities in complex retrieval tasks, there exist limited resources to assess the ability of retrieval models on a comprehensive set of diverse complex tasks. The few resources that do exist feature a limited scope and often lack realistic settings making it hard to know the true capabilities of retrieval models on complex real-world retrieval tasks. To address this shortcoming and spur innovation in next-generation retrieval models, we construct a diverse and realistic set of complex retrieval tasks and benchmark a representative set of state-of-the-art retrieval models. Additionally, we explore the impact of LLM-based query expansion and rewriting on retrieval quality. Our results show that even the best models struggle to produce high-quality retrieval results with the highest average nDCG@10 of only 0.346 and R@100 of only 0.587 across all tasks. Although LLM augmentation can help weaker models, the strongest model has decreased performance across all metrics with all rewriting techniques.