Avaliação de Modelos de Recuperação de Informação em Tarefas Complexas de Recuperação

Benchmarking Information Retrieval Models on Complex Retrieval Tasks

September 8, 2025

Autores: Julian Killingback, Hamed Zamani

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) são ferramentas incríveis e versáteis para tarefas baseadas em texto que possibilitaram inúmeras aplicações anteriormente inimagináveis. Em contraste, modelos de recuperação ainda não viram surgir modelos de propósito geral tão capazes. Para alcançar esse objetivo, os modelos de recuperação devem ser capazes de realizar tarefas complexas de recuperação, onde as consultas contêm múltiplas partes, restrições ou requisitos em linguagem natural. Essas tarefas representam uma progressão natural em relação às consultas simples e de único aspecto que são usadas na grande maioria dos conjuntos de avaliação existentes e comumente utilizados. Consultas complexas surgem naturalmente à medida que as pessoas esperam que os sistemas de busca lidem com solicitações de informação mais específicas e, muitas vezes, ambiciosas, como demonstra o uso de sistemas de informação baseados em LLMs. Apesar do crescente desejo de que os modelos de recuperação expandam suas capacidades em tarefas complexas de recuperação, existem recursos limitados para avaliar a capacidade desses modelos em um conjunto abrangente de tarefas complexas e diversificadas. Os poucos recursos que existem apresentam um escopo limitado e frequentemente carecem de configurações realistas, dificultando a compreensão das verdadeiras capacidades dos modelos de recuperação em tarefas complexas do mundo real. Para abordar essa lacuna e impulsionar a inovação em modelos de recuperação de próxima geração, construímos um conjunto diversificado e realista de tarefas complexas de recuperação e avaliamos um conjunto representativo de modelos de recuperação state-of-the-art. Além disso, exploramos o impacto da expansão e reescrita de consultas baseadas em LLMs na qualidade da recuperação. Nossos resultados mostram que mesmo os melhores modelos lutam para produzir resultados de recuperação de alta qualidade, com o maior nDCG@10 médio de apenas 0,346 e R@100 de apenas 0,587 em todas as tarefas. Embora a ampliação com LLMs possa ajudar modelos mais fracos, o modelo mais forte apresenta desempenho reduzido em todas as métricas com todas as técnicas de reescrita.

English

Large language models (LLMs) are incredible and versatile tools for text-based tasks that have enabled countless, previously unimaginable, applications. Retrieval models, in contrast, have not yet seen such capable general-purpose models emerge. To achieve this goal, retrieval models must be able to perform complex retrieval tasks, where queries contain multiple parts, constraints, or requirements in natural language. These tasks represent a natural progression from the simple, single-aspect queries that are used in the vast majority of existing, commonly used evaluation sets. Complex queries naturally arise as people expect search systems to handle more specific and often ambitious information requests, as is demonstrated by how people use LLM-based information systems. Despite the growing desire for retrieval models to expand their capabilities in complex retrieval tasks, there exist limited resources to assess the ability of retrieval models on a comprehensive set of diverse complex tasks. The few resources that do exist feature a limited scope and often lack realistic settings making it hard to know the true capabilities of retrieval models on complex real-world retrieval tasks. To address this shortcoming and spur innovation in next-generation retrieval models, we construct a diverse and realistic set of complex retrieval tasks and benchmark a representative set of state-of-the-art retrieval models. Additionally, we explore the impact of LLM-based query expansion and rewriting on retrieval quality. Our results show that even the best models struggle to produce high-quality retrieval results with the highest average nDCG@10 of only 0.346 and R@100 of only 0.587 across all tasks. Although LLM augmentation can help weaker models, the strongest model has decreased performance across all metrics with all rewriting techniques.