RL-Index: Reinforcement Learning für Retrieval-Index-Schlussfolgerung

Zusammenfassung

Das Abrufen externen Wissens ist für die Lösung realer Aufgaben unerlässlich, bleibt jedoch herausfordernd, wenn die Beziehung zwischen einer Abfrage und dem relevanten Wissen implizite und komplexe Schlussfolgerungen erfordert, die über oberflächliche semantische oder lexikalische Übereinstimmungen hinausgehen (z. B. mathematische Probleme, die denselben Satz erfordern, oder Code, der tiefes logisches Denken erfordert). Bestehende Ansätze stützen sich hauptsächlich auf abfrageseitiges logisches Denken (z. B. Abfrageumschreibung), was eine erhebliche Online-Latenz mit sich bringt und die Möglichkeit, das logische Denken über den Wissenskorpus selbst durchzuführen (d. h. indexseitiges Denken), nicht ausreichend nutzt. In diesem Artikel schlagen wir RL-Index vor, ein agentenbasiertes Indexierungsframework, das die Schlussfolgerungslogik des Retrieval-Index als ein Problem des bestärkenden Lernens formuliert. Anstatt das logische Denken zur Abfragezeit durchzuführen, verlagert RL-Index das Denken auf die Indexierungsphase, indem es Dokumente mit von großen Sprachmodellen generierten Begründungen anreichert, die die latente Abfrage-Wissens-Beziehung explizit codieren. Um die Qualität dieser Begründungen zu optimieren, wenden wir die Gruppenbezogene Richtlinienoptimierung (GRPO) an und verwenden die Retrieval-Ähnlichkeit als überprüfbares Belohnungssignal, wodurch eine direkte Optimierung der Indexierungsentscheidungen für die Retrieval-Effektivität ermöglicht wird. Umfangreiche Experimente mit dem BRIGHT-Benchmark zeigen, dass RL-Index sowohl die Retrieval-Leistung als auch die nachgelagerte Frage-Antwort-Leistung konsequent verbessert, während die Online-Inferenzlatenz deutlich reduziert wird. Darüber hinaus generalisiert die erlernte Begründungsanreicherung über verschiedene Retriever und Generatoren hinweg, was ihre Robustheit als eine Plug-and-Play-Indexierungsstrategie in verschiedenen Retrieval-Systemen unterstreicht.

English

Retrieving external knowledge is essential for solving real-world tasks, yet it remains challenging when the relationship between a query and its relevant knowledge involves implicit and complex reasoning beyond surface-level semantic or lexical matching (e.g., mathematical problems relying on the same theorem or coding requiring deep reasoning). Existing approaches primarily rely on query-side reasoning (e.g., query rewriting), which introduces significant online latency and underutilizes the opportunity to perform reasoning over the knowledge corpus itself (i.e., index-side reasoning). In this paper, we propose RL-Index, an agentic indexing framework that formulates retrieval index reasoning as a reinforcement learning problem. Instead of performing reasoning at query time, RL-Index shifts reasoning to the indexing stage by augmenting documents with LLM-generated rationales that explicitly encode the latent query-knowledge relationship. To optimize the quality of these rationales, we employ Group Relative Policy Optimization (GRPO) and use retrieval similarity as a verifiable reward signal, enabling direct optimization of indexing decisions for retrieval effectiveness. Extensive experiments on the BRIGHT benchmark demonstrate that RL-Index consistently improves both retrieval and downstream question-answering performance, while significantly reducing online inference latency. Moreover, the learned rationale augmentation generalizes across diverse retrievers and generators, highlighting its robustness as a plug-and-play indexing strategy across different retrieval systems.