RL-Index : Apprentissage par renforcement pour le raisonnement d'index de récupération

Résumé

L'acquisition de connaissances externes est essentielle pour résoudre des tâches du monde réel, mais elle reste difficile lorsque la relation entre une requête et les connaissances pertinentes implique un raisonnement implicite et complexe, au-delà d'un simple appariement sémantique ou lexical de surface (par exemple, des problèmes mathématiques reposant sur le même théorème ou un codage nécessitant un raisonnement approfondi). Les approches existantes reposent principalement sur un raisonnement côté requête (par exemple, la réécriture de requêtes), ce qui entraîne une latence en ligne importante et sous-exploite la possibilité d'effectuer un raisonnement sur le corpus de connaissances lui-même (c'est-à-dire un raisonnement côté index). Dans cet article, nous proposons RL-Index, un cadre d'indexation agentique qui formule le raisonnement sur l'index de recherche comme un problème d'apprentissage par renforcement. Au lieu d'effectuer le raisonnement au moment de la requête, RL-Index déplace celui-ci vers l'étape d'indexation en enrichissant les documents avec des justifications générées par LLM qui encodent explicitement la relation latente entre requête et connaissance. Pour optimiser la qualité de ces justifications, nous utilisons l'Optimisation Relative des Politiques par Groupes (GRPO) et employons la similarité de recherche comme signal de récompense vérifiable, permettant une optimisation directe des décisions d'indexation pour l'efficacité de la recherche. Des expériences approfondies sur le benchmark BRIGHT montrent que RL-Index améliore systématiquement à la fois les performances de recherche et de réponse aux questions en aval, tout en réduisant significativement la latence d'inférence en ligne. De plus, l'enrichissement par justifications apprises se généralise à différents moteurs de recherche et générateurs, soulignant sa robustesse en tant que stratégie d'indexation prête à l'emploi au sein de différents systèmes de recherche.

English

Retrieving external knowledge is essential for solving real-world tasks, yet it remains challenging when the relationship between a query and its relevant knowledge involves implicit and complex reasoning beyond surface-level semantic or lexical matching (e.g., mathematical problems relying on the same theorem or coding requiring deep reasoning). Existing approaches primarily rely on query-side reasoning (e.g., query rewriting), which introduces significant online latency and underutilizes the opportunity to perform reasoning over the knowledge corpus itself (i.e., index-side reasoning). In this paper, we propose RL-Index, an agentic indexing framework that formulates retrieval index reasoning as a reinforcement learning problem. Instead of performing reasoning at query time, RL-Index shifts reasoning to the indexing stage by augmenting documents with LLM-generated rationales that explicitly encode the latent query-knowledge relationship. To optimize the quality of these rationales, we employ Group Relative Policy Optimization (GRPO) and use retrieval similarity as a verifiable reward signal, enabling direct optimization of indexing decisions for retrieval effectiveness. Extensive experiments on the BRIGHT benchmark demonstrate that RL-Index consistently improves both retrieval and downstream question-answering performance, while significantly reducing online inference latency. Moreover, the learned rationale augmentation generalizes across diverse retrievers and generators, highlighting its robustness as a plug-and-play indexing strategy across different retrieval systems.