Verständnis der Verhaltensweisen von umgebungsbewusstem Informationsretrieval

Zusammenfassung

Aktuelle Ansätze der retrieval-gestützten Generierung (RAG) haben eine hohe Leistungsfähigkeit bei der Verarbeitung komplexer Anfragen gezeigt, dennoch übersieht die aktuelle Forschung eine entscheidende Herausforderung: Verschiedene Retriever erfordern grundlegend unterschiedliche Strategien der Abfrageformulierung, um eine optimale Leistung zu erzielen. In dieser Arbeit präsentieren wir die erste systematische Analyse, wie große Sprachmodelle (LLMs) lernen können, ihre Abfrageformulierungsstrategien mittels Verstärkungslernen (Reinforcement Learning, RL) an verschiedene Retriever anzupassen. Unsere empirische Studie zeigt, dass RL einem LLM effektiv beibringt, seine Anfragen auf die spezifischen Eigenschaften eines Retrievers zuzuschneiden. Wir entdecken, dass verschiedene Retriever überraschend unterschiedliche optimale Abfragestile aufweisen (z. B. deskriptiv vs. fragenähnlich), was darauf hindeutet, dass für einen Retriever erlernte Strategien für einen anderen ineffektiv sind. Wir zeigen ferner, dass die Leistung durch Einbeziehung retriever-spezifischer menschlicher Anleitung und durch Skalierung der Modellgröße verbessert werden kann. Um das Lernen über Trajektorien mit mehreren Retriever-Schritten zu erleichtern, führen wir eine auf Verzweigung basierende Rollout-Technik ein, die die Trainingsstabilität verbessert. Unsere Arbeit liefert die ersten empirischen Belege und umsetzbaren Erkenntnisse für den Aufbau wirklich retriever-bewusster RAG-Systeme. Code und Ressourcen sind verfügbar unter https://github.com/LCO-Embedding/Envs-aware-Information-Retrieval.

English

Recent retrieval-augmented generation (RAG) approaches have demonstrated strong capability in handling complex queries, yet current research overlooks a critical challenge: different retrievers require fundamentally different query formulation strategies for optimal performance. In this work, we present the first systematic analysis of how LLMs can learn to adapt their query formulation strategies for different retrievers via reinforcement learning (RL). Our empirical study reveals that RL effectively teaches an LLM to tailor its queries to specific retriever characteristics. We discover that different retrievers exhibit surprisingly distinct optimal query styles (e.g., descriptive vs. question-like), suggesting strategies learned for one retriever ineffective for another. We further show that performance can be enhanced by incorporating retriever-specific human guidance and by scaling model size. To facilitate learning over multi-retrieval-step trajectories, we introduce a branching-based rollout technique that improves training stability. Our work provides the first empirical evidence and actionable insights for building truly retriever-aware RAG systems. Code and resources are available at https://github.com/LCO-Embedding/Envs-aware-Information-Retrieval.