GRASP: Granularitätsbewusste Suchstrategie für agentische RAG

Zusammenfassung

Agentische Retrieval-Augmented Generation (RAG) erweitert die statische RAG, indem sie Sprachmodellen ermöglicht, iterativ zu schlussfolgern, Suchanfragen zu generieren, Belege abzurufen und Antworten vorherzusagen. Allerdings bleibt es für Modelle herausfordernd, zu entscheiden, wann abgerufen werden soll, ob lexikalisches Matching oder semantische Ähnlichkeit verwendet werden soll und wie die Kontextgranularität gesteuert werden kann, um zu verhindern, dass irrelevante Token die Logik des Agenten beeinträchtigen. In dieser Arbeit stellen wir GRASP vor, ein Framework für verstärkendes Lernen (RL), das Agenten darin trainiert, während mehrschrittiger Schlussfolgerungsprozesse adaptive komplementäre Abrufwerkzeuge zu koordinieren. GRASP stattet den Agenten mit Aktionen für semantische Suche, Stichwortsuche und Absatzlesen aus, sodass er Belege auf Satzebene abrufen und nur bei Bedarf weiteren Kontext erweitern kann. Wir trainieren die Strategie mit einer Belohnung, die gemeinsam Antwortgenauigkeit, fundiertes Lesen, komplementäre Suche und Zugriffseffizienz berücksichtigt. Experimente mit Benchmarks für mehrschrittiges Schließen zeigen, dass GRASP sowohl den Abruf-Recall als auch die Leistung bei der nachgelagerten Beantwortung von Fragen im Vergleich zu einstufigem Abruf, aufforderungsbasierter agentischer RAG und RL-basierten Abruf-Baselines verbessert. Qualitative und Ablationsanalysen zeigen, dass die erlernte Strategie interpretierbares Überfliegen- und Scannen-Verhalten entwickelt: Sie verwendet semantische Suche für breite Erkundung, Absatzlesen für lokale Verifikation und Stichwortsuche für entitätsspezifische Belege. Diese Ergebnisse deuten darauf hin, dass das Erlernen der Koordination von Abrufsignalen und Kontextgranularität entscheidend für die korrekte Logik des Agenten ist.

English

Agentic retrieval-augmented generation (RAG) extends static RAG by allowing language models to iteratively reason, generate search queries, retrieve evidence, and predict answers. However, it remains challenging for models to decide when to retrieve, whether to use lexical matching or semantic similarity, and how to control context granularity to prevent irrelevant tokens from interfering with agent reasoning. In this paper, we introduce GRASP, a reinforcement learning (RL) framework for training agents to adaptively coordinate complementary retrieval tools during multi-step reasoning. GRASP provides the agent with semantic search, keyword search, and paragraph-reading actions, enabling it to retrieve sentence-level evidence and expand further context only when needed. We train the policy with a reward that jointly accounts for answer accuracy, grounded reading, complementary search, and turn efficiency. Experiments on multi-hop reasoning benchmarks show that GRASP improves both retrieval recall and downstream question answering performance compared with single-step retrieval, prompting-based agentic RAG, and RL-based retrieval baselines. Qualitative and ablation analyses show that the learned policy develops interpretable skimming and scanning behavior: it uses semantic search for broad exploration, paragraph reading for local verification, and keyword search for entity-specific evidence. These results suggest that learning to coordinate retrieval signals and context granularity is critical for agent's correct reasoning.