s3: Você Não Precisa de Tanta Dados para Treinar um Agente de Busca via RL
s3: You Don't Need That Much Data to Train a Search Agent via RL
May 20, 2025
Autores: Pengcheng Jiang, Xueqiang Xu, Jiacheng Lin, Jinfeng Xiao, Zifeng Wang, Jimeng Sun, Jiawei Han
cs.AI
Resumo
Sistemas de geração aumentada por recuperação (RAG) capacitam modelos de linguagem de grande escala (LLMs) a acessar conhecimento externo durante a inferência. Avanços recentes permitiram que LLMs atuassem como agentes de busca por meio de aprendizado por reforço (RL), melhorando a aquisição de informações através de interações multi-turn com mecanismos de recuperação. No entanto, as abordagens existentes ou otimizam a recuperação usando métricas exclusivas de busca (por exemplo, NDCG) que ignoram a utilidade downstream ou ajustam todo o LLM para raciocinar e recuperar conjuntamente - entrelaçando a recuperação com a geração e limitando a utilidade real da busca e a compatibilidade com modelos congelados ou proprietários. Neste trabalho, propomos s3, um framework leve e agnóstico a modelos que desacopla o buscador do gerador e treina o buscador usando uma recompensa de Ganho Além do RAG: a melhoria na precisão da geração em relação ao RAG ingênuo. O s3 requer apenas 2,4 mil amostras de treinamento para superar baselines treinadas com mais de 70 vezes mais dados, entregando consistentemente um desempenho downstream superior em seis benchmarks de QA geral e cinco de QA médica.
English
Retrieval-augmented generation (RAG) systems empower large language models
(LLMs) to access external knowledge during inference. Recent advances have
enabled LLMs to act as search agents via reinforcement learning (RL), improving
information acquisition through multi-turn interactions with retrieval engines.
However, existing approaches either optimize retrieval using search-only
metrics (e.g., NDCG) that ignore downstream utility or fine-tune the entire LLM
to jointly reason and retrieve-entangling retrieval with generation and
limiting the real search utility and compatibility with frozen or proprietary
models. In this work, we propose s3, a lightweight, model-agnostic framework
that decouples the searcher from the generator and trains the searcher using a
Gain Beyond RAG reward: the improvement in generation accuracy over naive RAG.
s3 requires only 2.4k training samples to outperform baselines trained on over
70x more data, consistently delivering stronger downstream performance across
six general QA and five medical QA benchmarks.