s3: Non Servono Così Tanti Dati per Addestrare un Agente di Ricerca con il RL
s3: You Don't Need That Much Data to Train a Search Agent via RL
May 20, 2025
Autori: Pengcheng Jiang, Xueqiang Xu, Jiacheng Lin, Jinfeng Xiao, Zifeng Wang, Jimeng Sun, Jiawei Han
cs.AI
Abstract
I sistemi di generazione aumentata da recupero (RAG) consentono ai grandi modelli linguistici (LLM) di accedere a conoscenze esterne durante l'inferenza. Recenti progressi hanno permesso agli LLM di agire come agenti di ricerca tramite apprendimento per rinforzo (RL), migliorando l'acquisizione di informazioni attraverso interazioni multi-turn con motori di recupero. Tuttavia, gli approcci esistenti ottimizzano il recupero utilizzando metriche esclusive per la ricerca (ad esempio, NDCG) che ignorano l'utilità a valle, oppure ottimizzano l'intero LLM per ragionare e recuperare congiuntamente, intrecciando il recupero con la generazione e limitando l'utilità reale della ricerca e la compatibilità con modelli congelati o proprietari. In questo lavoro, proponiamo s3, un framework leggero e agnostico rispetto al modello, che disaccoppia il searcher dal generatore e addestra il searcher utilizzando una ricompensa Gain Beyond RAG: il miglioramento nell'accuratezza della generazione rispetto a un RAG ingenuo. s3 richiede solo 2.4k campioni di addestramento per superare i baseline addestrati su oltre 70 volte più dati, fornendo costantemente prestazioni migliori a valle su sei benchmark di QA generale e cinque di QA medica.
English
Retrieval-augmented generation (RAG) systems empower large language models
(LLMs) to access external knowledge during inference. Recent advances have
enabled LLMs to act as search agents via reinforcement learning (RL), improving
information acquisition through multi-turn interactions with retrieval engines.
However, existing approaches either optimize retrieval using search-only
metrics (e.g., NDCG) that ignore downstream utility or fine-tune the entire LLM
to jointly reason and retrieve-entangling retrieval with generation and
limiting the real search utility and compatibility with frozen or proprietary
models. In this work, we propose s3, a lightweight, model-agnostic framework
that decouples the searcher from the generator and trains the searcher using a
Gain Beyond RAG reward: the improvement in generation accuracy over naive RAG.
s3 requires only 2.4k training samples to outperform baselines trained on over
70x more data, consistently delivering stronger downstream performance across
six general QA and five medical QA benchmarks.