RL-Index: Aprendizaje por Refuerzo para el Razonamiento de Índices de Recuperación

Resumen

Recuperar conocimiento externo es esencial para resolver tareas del mundo real, pero sigue siendo un desafío cuando la relación entre una consulta y su conocimiento relevante implica un razonamiento implícito y complejo más allá de la coincidencia semántica o léxica superficial (por ejemplo, problemas matemáticos que dependen del mismo teorema o codificación que requiere razonamiento profundo). Los enfoques existentes se basan principalmente en el razonamiento del lado de la consulta (por ejemplo, reescritura de consultas), lo que introduce una latencia significativa en línea y no aprovecha la oportunidad de realizar razonamiento sobre el propio corpus de conocimiento (es decir, razonamiento del lado del índice). En este artículo, proponemos RL-Index, un marco de indexación agente que formula el razonamiento del índice de recuperación como un problema de aprendizaje por refuerzo. En lugar de realizar razonamiento en el momento de la consulta, RL-Index traslada el razonamiento a la etapa de indexación aumentando los documentos con justificaciones generadas por LLM que codifican explícitamente la relación latente entre consulta y conocimiento. Para optimizar la calidad de estas justificaciones, empleamos Optimización de Políticas Relativas de Grupo (GRPO) y utilizamos la similitud de recuperación como una señal de recompensa verificable, lo que permite la optimización directa de las decisiones de indexación para la efectividad de la recuperación. Experimentos exhaustivos en el punto de referencia BRIGHT demuestran que RL-Index mejora consistentemente tanto el rendimiento de recuperación como el de respuesta a preguntas posteriores, al tiempo que reduce significativamente la latencia de inferencia en línea. Además, el aumento de justificaciones aprendidas se generaliza a través de diversos recuperadores y generadores, destacando su robustez como una estrategia de indexación plug-and-play en diferentes sistemas de recuperación.

English

Retrieving external knowledge is essential for solving real-world tasks, yet it remains challenging when the relationship between a query and its relevant knowledge involves implicit and complex reasoning beyond surface-level semantic or lexical matching (e.g., mathematical problems relying on the same theorem or coding requiring deep reasoning). Existing approaches primarily rely on query-side reasoning (e.g., query rewriting), which introduces significant online latency and underutilizes the opportunity to perform reasoning over the knowledge corpus itself (i.e., index-side reasoning). In this paper, we propose RL-Index, an agentic indexing framework that formulates retrieval index reasoning as a reinforcement learning problem. Instead of performing reasoning at query time, RL-Index shifts reasoning to the indexing stage by augmenting documents with LLM-generated rationales that explicitly encode the latent query-knowledge relationship. To optimize the quality of these rationales, we employ Group Relative Policy Optimization (GRPO) and use retrieval similarity as a verifiable reward signal, enabling direct optimization of indexing decisions for retrieval effectiveness. Extensive experiments on the BRIGHT benchmark demonstrate that RL-Index consistently improves both retrieval and downstream question-answering performance, while significantly reducing online inference latency. Moreover, the learned rationale augmentation generalizes across diverse retrievers and generators, highlighting its robustness as a plug-and-play indexing strategy across different retrieval systems.