Benchmarken van informatie-retrievalmodellen voor complexe retrievaltaken

Benchmarking Information Retrieval Models on Complex Retrieval Tasks

September 8, 2025

Auteurs: Julian Killingback, Hamed Zamani

cs.AI

Samenvatting

Grote taalmodellen (LLMs) zijn ongelooflijke en veelzijdige tools voor tekstgebaseerde taken die talloze, voorheen ondenkbare toepassingen mogelijk hebben gemaakt. Retrievalmodellen daarentegen hebben nog niet zulke capabele algemene modellen voortgebracht. Om dit doel te bereiken, moeten retrievalmodellen complexe retrievaltaken kunnen uitvoeren, waarbij queries meerdere onderdelen, beperkingen of vereisten in natuurlijke taal bevatten. Deze taken vormen een natuurlijke voortzetting van de eenvoudige, enkelvoudige queries die worden gebruikt in de overgrote meerderheid van bestaande, veelgebruikte evaluatiesets. Complexe queries ontstaan vanzelfsprekend doordat mensen verwachten dat zoeksystemen meer specifieke en vaak ambitieuze informatieverzoeken aankunnen, zoals blijkt uit de manier waarop mensen LLM-gebaseerde informatiesystemen gebruiken. Ondanks de groeiende behoefte aan retrievalmodellen om hun mogelijkheden uit te breiden in complexe retrievaltaken, zijn er beperkte middelen beschikbaar om het vermogen van retrievalmodellen te beoordelen op een uitgebreide set van diverse complexe taken. De weinige middelen die bestaan, hebben een beperkte reikwijdte en missen vaak realistische instellingen, waardoor het moeilijk is om de werkelijke mogelijkheden van retrievalmodellen op complexe real-world retrievaltaken te kennen. Om dit tekort aan te pakken en innovatie in de volgende generatie retrievalmodellen te stimuleren, construeren wij een diverse en realistische set van complexe retrievaltaken en benchmarken we een representatieve set van state-of-the-art retrievalmodellen. Daarnaast onderzoeken we de impact van LLM-gebaseerde query-uitbreiding en herschrijving op de retrievalkwaliteit. Onze resultaten laten zien dat zelfs de beste modellen moeite hebben om hoogwaardige retrievalresultaten te produceren, met een gemiddelde nDCG@10 van slechts 0,346 en een R@100 van slechts 0,587 over alle taken. Hoewel LLM-augmentatie zwakkere modellen kan helpen, presteert het sterkste model slechter op alle metrieken bij alle herschrijftechnieken.

English

Large language models (LLMs) are incredible and versatile tools for text-based tasks that have enabled countless, previously unimaginable, applications. Retrieval models, in contrast, have not yet seen such capable general-purpose models emerge. To achieve this goal, retrieval models must be able to perform complex retrieval tasks, where queries contain multiple parts, constraints, or requirements in natural language. These tasks represent a natural progression from the simple, single-aspect queries that are used in the vast majority of existing, commonly used evaluation sets. Complex queries naturally arise as people expect search systems to handle more specific and often ambitious information requests, as is demonstrated by how people use LLM-based information systems. Despite the growing desire for retrieval models to expand their capabilities in complex retrieval tasks, there exist limited resources to assess the ability of retrieval models on a comprehensive set of diverse complex tasks. The few resources that do exist feature a limited scope and often lack realistic settings making it hard to know the true capabilities of retrieval models on complex real-world retrieval tasks. To address this shortcoming and spur innovation in next-generation retrieval models, we construct a diverse and realistic set of complex retrieval tasks and benchmark a representative set of state-of-the-art retrieval models. Additionally, we explore the impact of LLM-based query expansion and rewriting on retrieval quality. Our results show that even the best models struggle to produce high-quality retrieval results with the highest average nDCG@10 of only 0.346 and R@100 of only 0.587 across all tasks. Although LLM augmentation can help weaker models, the strongest model has decreased performance across all metrics with all rewriting techniques.