Comprendiendo los Comportamientos de la Recuperación de Información Consciente del Entorno

Resumen

Los enfoques recientes de generación aumentada por recuperación (RAG) han demostrado una sólida capacidad para manejar consultas complejas, sin embargo, la investigación actual omite un desafío crítico: diferentes recuperadores requieren estrategias de formulación de consultas fundamentalmente distintas para un rendimiento óptimo. En este trabajo, presentamos el primer análisis sistemático de cómo los LLM pueden aprender a adaptar sus estrategias de formulación de consultas para distintos recuperadores mediante aprendizaje por refuerzo (RL). Nuestro estudio empírico revela que RL enseña efectivamente a un LLM a ajustar sus consultas a las características específicas del recuperador. Descubrimos que diferentes recuperadores exhiben estilos de consulta óptimos sorprendentemente distintos (por ejemplo, descriptivos frente a tipo pregunta), lo que sugiere que las estrategias aprendidas para un recuperador son ineficaces para otro. Además, demostramos que el rendimiento puede mejorarse incorporando orientación humana específica del recuperador y escalando el tamaño del modelo. Para facilitar el aprendizaje sobre trayectorias de múltiples pasos de recuperación, introducimos una técnica de despliegue basada en ramificación que mejora la estabilidad del entrenamiento. Nuestro trabajo proporciona la primera evidencia empírica y recomendaciones prácticas para construir sistemas RAG verdaderamente conscientes del recuperador. El código y los recursos están disponibles en https://github.com/LCO-Embedding/Envs-aware-Information-Retrieval.

English

Recent retrieval-augmented generation (RAG) approaches have demonstrated strong capability in handling complex queries, yet current research overlooks a critical challenge: different retrievers require fundamentally different query formulation strategies for optimal performance. In this work, we present the first systematic analysis of how LLMs can learn to adapt their query formulation strategies for different retrievers via reinforcement learning (RL). Our empirical study reveals that RL effectively teaches an LLM to tailor its queries to specific retriever characteristics. We discover that different retrievers exhibit surprisingly distinct optimal query styles (e.g., descriptive vs. question-like), suggesting strategies learned for one retriever ineffective for another. We further show that performance can be enhanced by incorporating retriever-specific human guidance and by scaling model size. To facilitate learning over multi-retrieval-step trajectories, we introduce a branching-based rollout technique that improves training stability. Our work provides the first empirical evidence and actionable insights for building truly retriever-aware RAG systems. Code and resources are available at https://github.com/LCO-Embedding/Envs-aware-Information-Retrieval.