s3: No necesitas tantos datos para entrenar un agente de búsqueda mediante RL

s3: You Don't Need That Much Data to Train a Search Agent via RL

May 20, 2025

Autores: Pengcheng Jiang, Xueqiang Xu, Jiacheng Lin, Jinfeng Xiao, Zifeng Wang, Jimeng Sun, Jiawei Han

cs.AI

Resumen

Los sistemas de generación aumentada por recuperación (RAG, por sus siglas en inglés) permiten que los modelos de lenguaje de gran escala (LLMs) accedan a conocimiento externo durante la inferencia. Avances recientes han permitido que los LLMs actúen como agentes de búsqueda mediante aprendizaje por refuerzo (RL), mejorando la adquisición de información a través de interacciones multiturno con motores de recuperación. Sin embargo, los enfoques existentes optimizan la recuperación utilizando métricas exclusivas de búsqueda (por ejemplo, NDCG) que ignoran la utilidad en etapas posteriores, o ajustan todo el LLM para razonar y recuperar de manera conjunta, entrelazando la recuperación con la generación y limitando la utilidad real de la búsqueda y la compatibilidad con modelos congelados o propietarios. En este trabajo, proponemos s3, un marco ligero y agnóstico al modelo que desacopla el buscador del generador y entrena al buscador utilizando una recompensa de Ganancia Más Allá de RAG: la mejora en la precisión de la generación sobre un RAG básico. s3 requiere solo 2.4k muestras de entrenamiento para superar a los baselines entrenados con más de 70 veces más datos, ofreciendo consistentemente un mejor rendimiento en etapas posteriores en seis benchmarks de preguntas y respuestas generales y cinco benchmarks de preguntas y respuestas médicas.

English

Retrieval-augmented generation (RAG) systems empower large language models (LLMs) to access external knowledge during inference. Recent advances have enabled LLMs to act as search agents via reinforcement learning (RL), improving information acquisition through multi-turn interactions with retrieval engines. However, existing approaches either optimize retrieval using search-only metrics (e.g., NDCG) that ignore downstream utility or fine-tune the entire LLM to jointly reason and retrieve-entangling retrieval with generation and limiting the real search utility and compatibility with frozen or proprietary models. In this work, we propose s3, a lightweight, model-agnostic framework that decouples the searcher from the generator and trains the searcher using a Gain Beyond RAG reward: the improvement in generation accuracy over naive RAG. s3 requires only 2.4k training samples to outperform baselines trained on over 70x more data, consistently delivering stronger downstream performance across six general QA and five medical QA benchmarks.