s3 : Vous n'avez pas besoin d'autant de données pour entraîner un agent de recherche via l'apprentissage par renforcement

s3: You Don't Need That Much Data to Train a Search Agent via RL

May 20, 2025

Auteurs: Pengcheng Jiang, Xueqiang Xu, Jiacheng Lin, Jinfeng Xiao, Zifeng Wang, Jimeng Sun, Jiawei Han

cs.AI

Résumé

Les systèmes de génération augmentée par recherche (RAG) permettent aux grands modèles de langage (LLM) d'accéder à des connaissances externes lors de l'inférence. Les avancées récentes ont permis aux LLM d'agir comme agents de recherche via l'apprentissage par renforcement (RL), améliorant l'acquisition d'informations grâce à des interactions multi-tours avec des moteurs de recherche. Cependant, les approches existantes optimisent soit la recherche en utilisant des métriques spécifiques à la recherche (par exemple, NDCG) qui ignorent l'utilité en aval, soit affinent l'ensemble du LLM pour raisonner et récupérer conjointement, ce qui entrelace la recherche avec la génération et limite l'utilité réelle de la recherche ainsi que la compatibilité avec des modèles figés ou propriétaires. Dans ce travail, nous proposons s3, un cadre léger et indépendant du modèle, qui découple le chercheur du générateur et entraîne le chercheur en utilisant une récompense de Gain Au-Delà de RAG : l'amélioration de la précision de génération par rapport à un RAG naïf. s3 nécessite seulement 2,4k échantillons d'entraînement pour surpasser les modèles de référence entraînés sur plus de 70 fois plus de données, offrant systématiquement de meilleures performances en aval sur six benchmarks de questions-réponses générales et cinq benchmarks de questions-réponses médicales.

English

Retrieval-augmented generation (RAG) systems empower large language models (LLMs) to access external knowledge during inference. Recent advances have enabled LLMs to act as search agents via reinforcement learning (RL), improving information acquisition through multi-turn interactions with retrieval engines. However, existing approaches either optimize retrieval using search-only metrics (e.g., NDCG) that ignore downstream utility or fine-tune the entire LLM to jointly reason and retrieve-entangling retrieval with generation and limiting the real search utility and compatibility with frozen or proprietary models. In this work, we propose s3, a lightweight, model-agnostic framework that decouples the searcher from the generator and trains the searcher using a Gain Beyond RAG reward: the improvement in generation accuracy over naive RAG. s3 requires only 2.4k training samples to outperform baselines trained on over 70x more data, consistently delivering stronger downstream performance across six general QA and five medical QA benchmarks.