Inzicht in de gedragingen van omgevingsbewuste informatieontsluiting

Samenvatting

Recentere benaderingen van retrieval-versterkte generatie (retrieval-augmented generation, RAG) hebben een sterke capaciteit getoond in het verwerken van complexe vragen, maar het huidige onderzoek ziet een cruciale uitdaging over het hoofd: verschillende retrievers vereisen fundamenteel andere queryformuleringsstrategieën voor optimale prestaties. In dit werk presenteren we de eerste systematische analyse van hoe grote taalmodellen (LLM's) kunnen leren hun queryformuleringsstrategieën aan te passen aan verschillende retrievers via versterkend leren (reinforcement learning, RL). Onze empirische studie toont aan dat RL een LLM effectief leert om zijn queries af te stemmen op specifieke retrieverkenmerken. We ontdekken dat verschillende retrievers opvallend verschillende optimale querystijlen vertonen (bijvoorbeeld beschrijvend versus vraagachtig), wat suggereert dat strategieën die voor de ene retriever zijn geleerd, niet effectief zijn voor een andere. Verder tonen we aan dat prestaties kunnen worden verbeterd door het opnemen van retriever-specifieke menselijke aanwijzingen en door het schalen van de modelgrootte. Om het leren over trajecten met meerdere retrieval-stappen te faciliteren, introduceren we een op vertakkingen gebaseerde rollout-techniek die de trainingsstabiliteit verbetert. Ons werk levert het eerste empirische bewijs en bruikbare inzichten voor het bouwen van werkelijk retriever-bewuste RAG-systemen. Code en bronnen zijn beschikbaar op https://github.com/LCO-Embedding/Envs-aware-Information-Retrieval.

English

Recent retrieval-augmented generation (RAG) approaches have demonstrated strong capability in handling complex queries, yet current research overlooks a critical challenge: different retrievers require fundamentally different query formulation strategies for optimal performance. In this work, we present the first systematic analysis of how LLMs can learn to adapt their query formulation strategies for different retrievers via reinforcement learning (RL). Our empirical study reveals that RL effectively teaches an LLM to tailor its queries to specific retriever characteristics. We discover that different retrievers exhibit surprisingly distinct optimal query styles (e.g., descriptive vs. question-like), suggesting strategies learned for one retriever ineffective for another. We further show that performance can be enhanced by incorporating retriever-specific human guidance and by scaling model size. To facilitate learning over multi-retrieval-step trajectories, we introduce a branching-based rollout technique that improves training stability. Our work provides the first empirical evidence and actionable insights for building truly retriever-aware RAG systems. Code and resources are available at https://github.com/LCO-Embedding/Envs-aware-Information-Retrieval.